Scaling Law撞墙？ARC-AGI-3给AI泛化能力敲响丧钟

说实话，这个结果我一点都不意外。ARC-AGI-3那个测试集我关注很久了，它设计的逻辑谜题根本不是靠“看过类似题”能解的，而是真正需要理解“规则”本身。我上周刚让Claude Fable 5跑了个类似的测试——一个简单的图形变换规则，但训练集里全是正例，测试集突然换了个反例。结果它直接懵了，输出完全是在瞎猜。

这其实暴露了一个很扎心的事实：我们引以为傲的“泛化能力”，本质上还是“见过多少种变体”的问题。GPT-5.6 Sol在代码生成上能到90%，那是因为代码任务在训练数据里有无穷无尽的影子，但ARC-AGI-3那些非标准形状的拼图，人类看一眼就能推断出“哦，这是把颜色按对角线交换”，模型却连“对角线”这个概念都没法从像素级别抽象出来。

我觉得这不是单纯的“数据不够”或者“模型不够大”。更麻烦的是，当前所有模型的学习范式本质上是“统计推断”，而不是“因果推断”。人类小孩看到一个没见过的积木形状，会尝试去“理解”它和已知形状的关系，但模型只会把输入塞进一个巨大的映射表里，找不到匹配项就宕机。

你提到的内部实验我特别想多问一句：你们试过用few-shot的方法吗？就是在测试时给模型3-5个同类型的例子，而不是零样本。我试过给Gemini 3.5 Pro两个示范谜题后再测，结果从1%勉强爬到15%左右，但人类依然接近100%。这说明“模式匹配”的边界非常清晰，只要稍微偏离分布，哪怕给几个例子也救不回来。

说到底，ARC-AGI-3的丧钟不是敲给某个模型的，而是敲给“scaling law”这个信仰的。堆算力和数据，在“见过更多模式”上确实能堆出奇迹，但要跨过那道“真正理解规则”的坎，可能得换个赛道了。你们内部有没有在尝试更结构化的推理方法，比如结合符号推理或者神经符号系统？我很想知道这个方向有没有突破。

这帖子看得我挺有感触的，尤其是最后那张91.9%编程得分与<1%推理得分的对比图，几乎是给整个行业贴了一剂清醒剂。我在几家大厂和创业公司都干过预训练和Post-training，从BERT时代一路跟到现在的MoE和超长上下文，说实话，ARC-AGI-3这个结果在我预料之中，但它的冲击力在于它把“表面能力”和“底层能力”之间的裂缝撕得足够大，大到连非技术背景的老板们也开始追问“Scaling到底还有没有用”。

先聊一个我亲身踩过的坑，可能能帮你理解这个问题的本质。去年我在一个团队做多模态推理增强，我们拿了一个视觉版本的逻辑谜题任务做评估——不是ARC那种纯像素规则，而是类似“给定三张图，第四张应该是什么形状”的简单类比推理。我们当时用GPT-4-level的模型，在常规的VQA基准上已经刷到85%+，但在这个类比任务上，模型的表现非常诡异：如果训练数据里出现过类似的颜色变换模式，它能答对；但只要颜色、形状、位置三个维度中的任何一个出现了训练集里没见过的组合，准确率直接掉到30%以下。我们试过各种方法：加大数据量、做数据增强、用RLHF对推理步骤做奖励建模，甚至尝试了Chain-of-Thought的蒸馏，但效果都不持久。最后我们发现，模型在推理过程中其实是在做一种“基于最近邻的模糊匹配”——它把当前输入拆解成若干特征片段，然后去训练集里找最相似的片段组合，再拼接出答案。这个过程看起来像推理，但本质上和搜索引擎没什么区别，只是粒度更细。

这恰好印证了你提到的“模式匹配机”这个判断。Transformer的注意力机制，本质上是一个加权求和的信息混合器，它擅长捕捉统计共现模式，但不擅长构建离散的、因果的结构化表征。你可以把模型理解成一个极其强大的插值函数，它能在训练数据覆盖的流形上做出平滑的预测，但一旦输入点落在流形之外，它的行为就不可控了。ARC-AGI-3的厉害之处在于，它设计的每个任务都刻意落在这个流形的正交方向上——它不考你见过的变体，而考你能否从少数几个样例中抽象出全新的生成规则。这恰恰是统计学习模型的死穴。

那么问题来了：Scaling Law真的撞墙了吗？我的看法是，Scaling Law在“同分布泛化”这条路上还有很大的空间，但在“跨分布泛化”这条路上，它可能已经接近了当前的架构上限。我们团队做过一个粗略的估算：在固定的训练数据分布上，模型参数量每增加一个数量级，在分布内测试集上的性能提升大约是5-10个点；但在分布外测试集（比如把任务中的物体换成训练集里没见过的形状）上，这个提升会迅速衰减到1-2个点甚至更差。这说明，单纯堆算力并不能解决抽象推理的缺失，就像你给一个学生堆再多的数学习题册，如果不教他数学原理，他遇到新题型还是只会套公式。

你提到的“91.9%编程得分与<1%推理得分”的对比，其实暴露了一个更隐蔽的问题：编程任务本身可能已经被模型“记忆化”了。GitHub上公开的代码库数量级在亿级别，而且代码的语法结构高度重复——for循环、if判断、函数定义这些模式在训练数据里出现的频率极高。模型在代码生成上的高得分，很大程度上是因为它学会了“给定一个需求描述，输出一个最可能的代码模板”，而不是因为它真的理解了算法逻辑。我做过一个实验：让模型生成一个冒泡排序的代码，它写得很漂亮；但让它解释为什么冒泡排序的时间复杂度是O(n^2)，并且用一个数学归纳法证明，它就变得磕磕绊绊，甚至会出现明显的逻辑断裂。这就像一个学生背熟了所有的古诗，但让他自己写一首格律诗就露馅了。

关于你提出的两个讨论点，我分别展开一下。

第一，是否应该用类似ARC的对抗性任务作为模型评估的硬性门槛。我的答案是：应该，但需要谨慎设计。ARC-AGI的任务设计非常精巧，但它有一个潜在的问题——它的评分标准是“全对或全错”，这导致模型得分的方差极大，且很难给出有意义的中间反馈。在实际的模型开发中，我们需要的是既能暴露缺陷又能指导改进的评估指标。我们团队内部使用了一套“渐进式抽象推理基准”，把任务分为几个层级：Level 0是纯记忆（训练集里见过的样例），Level 1是简单组合（训练集里见过的规则组合），Level 2是规则迁移（把训练集里的规则应用到新的物体上），Level 3是规则发现（从少量样例中归纳新规则）。这样我们就能定位模型在哪一层开始失效。结果发现，即使在GPT-5级别的模型上，Level 3的通过率也不到15%，但Level 0和Level 1几乎都是100%。这个分层方法比单一的ARC得分更有诊断价值。你可以在自己的评估体系中引入类似的分层思路，而不是简单地把ARC作为一票否决的门槛。否则，你可能会误杀一些在工程应用中已经足够好的模型——毕竟，大多数实际场景并不需要模型去发现全新的物理规则，只需要它能在已知规则集内做组合。

第二，如何通过外部知识库或推理链来弥补模型的本征泛化缺陷。这是当前工程落地的核心挑战，也是我认为短期最可能出成果的方向。我最近在做一个项目，把模型当作“推理调度器”而非“推理执行器”——模型不直接输出最终答案，而是输出一个推理计划，包含若干个符号操作步骤，这些步骤由一个可解释的符号引擎（比如一个基于谓词逻辑的求解器）来执行。举个例子，在ARC任务中，模型需要先识别出“输入网格中的颜色块”，然后“判断它们之间的空间关系”，再“应用一个变换规则”。我们让模型生成这些步骤的描述，然后由符号引擎去精确执行，最后将执行结果反馈给模型做验证。这个流程看起来慢，但准确率可以从<1%提升到40%以上，而且最关键的是，符号引擎的执行是可解释、可验证的——如果出错了，我们能知道是模型的理解错了还是符号引擎的执行错了。这个思路其实借鉴了AlphaGeometry的做法，把神经网络的模式识别能力和符号系统的精确推理能力结合起来。

另一个工程上更轻量的做法是使用“反思式RAG”。传统RAG只是检索外部知识，但反思式RAG会先让模型生成一个初步答案，然后针对这个答案的每个断言去检索外部知识库做验证，如果发现矛盾就回溯修正。我在一个金融风控的场景里试过这个方案：模型需要判断一个交易是否涉及洗钱，原始模型经常被表面模式迷惑（比如交易金额和频率符合正常模式，但收款方是新注册的空壳公司）。加入反思式RAG后，模型会主动检索收款方的工商信息、历史交易记录、关联关系图，然后重新评估。这个方案让误报率降低了60%以上，而且推理速度只增加了30%左右（因为大部分常规交易不需要回溯）。这个思路同样可以应用到逻辑推理任务上——模型生成一个推理步骤后，去检索一个“规则知识库”来验证该步骤是否符合已知的数学或逻辑公理，如果不符合就重新生成。当然，这依赖于外部知识库的质量和覆盖度，但它至少给了我们一个工程上可行的补救方案。

最后，我想聊聊训练范式本身。你提到“我们需要的是全新训练范式”，我深表同意，但我不认为我们需要完全抛弃Transformer。相反，我认为下一步的方向是“在训练过程中注入因果结构”。当前的自回归预训练本质上是在学习“下一个token的概率分布”，但如果我们能引入一个辅助目标，让模型同时学习“为什么下一个token是这个”，可能就会有所不同。具体来说，我们可以在训练数据中加入“解释性标签”——比如在一道数学题的数据中，不只有问题和答案，还有中间推导步骤和每一步依赖的前提条件。然后让模型在预测下一个token的同时，预测这个token所依赖的“因果前提”。这个做法会让模型被迫建立一种内部因果图，而不是仅仅拟合统计共现。我们在一个百万级的小规模实验里试过，结果是：在分布外的推理测试上，使用了因果辅助目标的模型比纯预测模型的准确率高了12个百分点，而且模型的注意力图变得更加结构化——它开始关注那些真正决定答案的关键步骤，而不是无差别地关注所有信息。当然，这个方法的代价是数据标注成本极高，而且训练收敛速度会变慢，但我认为它可能是通向真正泛化能力的一条可行路径。

总结一下，ARC-AGI-3的结果不是丧钟，而是一个路标——它告诉我们，当前的道路走到这里，前面开始分叉了。一条路是继续堆数据和算力，在分布内泛化上做到极致，这对大多数工程应用场景已经足够；另一条路是探索新的训练范式和架构，在分布外泛化上寻求突破，这对AGI的长远目标至关重要。作为从业者，我们需要根据实际场景做取舍——如果你的产品只在一个封闭域里运行（比如客服机器人、代码自动补全），那么Scaling Law仍然是你最好的朋友；但如果你要做真正的自主决策系统（比如自动驾驶、科学发现助手），那么就必须正视这个泛化缺陷，并且在推理链路中加入符号系统、外部知识或因果结构，而不是指望模型自己“悟”出来。

最后说一句题外话，我注意到你提到的模型名字——GPT-5.6 Sol、Claude Fable 5、Gemini 3.5 Pro，这些内部代号很有意思。如果这些模型真的已经达到了90%+的编程得分，说明它们在代码记忆和模式匹配上已经登峰造极了，但同时也意味着它们离真正的推理还有一段很长的路。这段路，可能不是靠更大规模的预训练能走通的。