←

知识条目

🌙
2026-10-02 · 动态 · 何恺明团队新作:看猫片就能学会ARC挑战
2026-10-02
🔗 查看原文 ← 返回知识库
【发生了什么】何恺明团队提出纯视觉ARC方案NAT-ARC,用ImageNet上约130万张自然图像做MAE预训练,再迁移到抽象格子推理,单模型(0.6B参数)在ARC-1上取得63.4% pass@2,集成后达70.2%,逼近使用8B语言模型的专用系统The ARChitects的71.6%。 【为什么值得关注】该方案未使用任何ARC数据做预训练,且直接复用MAE公开checkpoint,未额外花费预训练成本;更关键的是,预训练修复了视觉路线此前的scaling问题——无预训练时模型从large到huge性能反而下降,加入ImageNet预训练后base、large、huge三个尺度性能一路向上。 【对我们的意义】若团队手头有少量样本的视觉判别或结构化推理任务(如文档版面解析、图表规则推断、缺陷图像分类),可优先尝试用公开MAE权重初始化编码器、再在小样本上做LoRA微调,而非从零训练或直接调用大模型;这条路径的参数量比LLM方案小一个数量级以上,推理成本更低,适合边缘部署或高频调用场景。 ── 💡 对你的工作:AI 可速读财报/公告,尽调初筛提效。 【原文】查看原文 →