本期播客，No Priors 请来了一位在 AI 推理领域被业内称为「教父级」人物的研究者Noam Brown。他是 OpenAI 的研究科学家，也是推动「test-time compute scaling」成为行业主流方向的关键人物之一。从扑克 AI 到前沿大模型的评估方法论，Brown 的研究轨迹几乎与整个行业对「推理」认知的升级同步。
在这场对话中，Brown 抛出了一个令人不安的判断：我们习以为常的模型评估方式，正在系统性地误导我们对 AI 能力的判断。 以下是他的核心观点：
1. Benchmark 表格是一场「坏均衡」：新模型发布时那张横向列 Benchmark、纵向比分数的表格，已经成为行业惯性。但问题在于，这些分数没有控制「推理计算预算」。让模型思考更久、花更多 Token，分数就会涨。
2. 模型能力不是单点跑分，而是一条成本曲线：真正合理的评估方式，是把模型表现画成一条随 Token、成本或时间变化的函数曲线。控制了预算之后，新一代模型的跃迁才清晰可见；否则，你看到的只是「谁更舍得烧算力」。
3. 模型能做什么，取决于你愿意花多少钱：现有的负责任扩展政策（RSP）和风险准备框架大多诞生于 GPT-3 时代，默认模型能力是固定的。但今天，给模型 10 美元和 1000 万美元的预算，它能做的事情完全不同。
4. 递归式自我改进不会「一夜爆发」：虽然模型正在加速研究流程，但它们距离「给足预算就能自主完成所有研究」还很远。更重要的是，释放模型最强能力需要大量推理时间，时间本身就是瓶颈。
5. 当前模型被严重低估，因为没人真的让它们跑够久：以 Erdős 单位距离猜想为例，公开可用的模型在足够预算和任务框架下本就可能推翻这一数学难题，但几乎没有人系统性地探索「如果投入 10 万美元计算预算，它到底能做什么」。模型的天花板，远未被触及。
6. 多智能体协作是下一个复利来源：人类文明的优势不在于个体变聪明，而在于数十亿人长期协作、积累知识。今天的模型还像「出生在一个短暂上下文窗口里然后就消失」的存在。未来，模型需要进入一种「协调式复利」状态，大规模协作、共享知识、持续构建。
Benchmark为何正在失效：模型能力不再是一个单点跑分
Sarah Guo：大家好，我是Sarah Guo，欢迎回到No Priors。今天我请来了Noam Brown，他可以说是AI推理领域的“教父级”人物之一。这期节目里，我们会讨论当前模型评估体系的失效、大规模推理计算、他如何看待递归式自我改进，以及前沿AI竞争接下来可能走向哪里。欢迎你回来，Noam。我真的很高兴你再次来到节目。
Noam Brown：很高兴回来。
Sarah Guo：你是我们节目的第一位嘉宾。我一直很为自己挑朋友和研究者的眼光感到骄傲。考虑到推理时扩展现在对整个行业变得如此重要，你也应该感到骄傲，毕竟你确实参与推动了这个方向。
Noam Brown：算是参与了一部分，当然还有很多其他人一起推动。
Sarah Guo：你最近写了一篇文章，讨论大规模推理计算，以及为什么现在行业对这些模型的评估并不够稳健。这篇文章引起了很多共鸣。你写它的动机是什么？
Noam Brown：动机来自我们发布5.5之后的反应。一开始，大家有些怀疑它是不是一个明显更强的模型。当然，这种怀疑只持续了几个小时，因为很快大家就有时间去试用它、自己感受它，然后发现它确实明显更强。
在我看来，最初很多怀疑都来自发布时的Benchmark表格。基本上，每当一个新模型发布时，都会有这样一张Benchmark表格：横向列出各种不同Benchmark，纵向展示不同模型的表现。大家可以直接比较不同模型。它就像是给某个模型在某个Benchmark上打出一个单一分数。
如果只看表面数据，新一代模型相比上一代模型确实有提升，但看起来并不是巨大提升。在一些Benchmark上，它可能只是高了几个百分点。所以大家看完后会怀疑：它真的更强吗？但当他们真正上手使用后，故事就变了。
Benchmark里没有显示出它强很多的原因，是因为这些Benchmark结果的呈现方式本身就是错的。它们没有控制每一道Benchmark题目上使用了多少推理计算预算。
后来我们发现，5.5其实是一个思考效率高得多的模型。如果你在最大设置下运行，5.4会思考更久，返回答案也更慢。而5.5更快。一旦你控制了思考时间，就会发现5.5相比5.4其实是一次明显跃迁。这也更符合大家日常使用它时的真实感受。
当我向别人解释这一点时，大家典型的反应是：“那为什么不直接让5.5像5.4一样思考那么久？”但真正的问题是：它们到底应该思考多久？
通常我听到的回答是：“直到性能到达平台期。”也就是说，在某个点上，模型在Benchmark上的表现会停止继续提升，然后我们评估到那个点。问题是，现在这个平台期已经非常远了。
在2022年前后的GPT-3时代，模型并不能真的进行很长时间的有效思考。所以你可以让它运行到平台期，而这个点并不远。但今天的现代模型已经不一样了。如果用合理方式为它们搭建任务框架，它们可以在一些Benchmark上持续思考很长时间，之后性能才接近平台期。所以现在，性能平台期已经远到不太可能被合理测试。
Sarah Guo：也就是说，现在我们确实需要从Token角度设置某种“耐心限制”或者“预算限制”，而几年前并不需要这样做。
Noam Brown：完全正确。今天更合理的模型评估方式，要么是在Benchmark里设定明确预算，比如Token、成本、时间，或者其他尺度；要么就是把模型表现画成一条函数曲线，看它如何随着推理计算预算的增加而变化。这样，我们才能更清楚地比较不同模型之间的表现。
推理计算时代：AI能力正在变成一条成本曲线
Sarah Guo：考虑到模型评估周期，以及很多任务的表现并不会在很长一段时间内趋于稳定，你觉得应该怎么处理这个问题？有些我们想做的评估，可能已经超出了当前模型发布周期下合理的预算或时间范围。
Noam Brown：比如在网络安全这类任务上，我们已经看到，一些安全评估机构的研究也显示，模型即使运行到非常高的Token规模之后，仍然还在继续提升。也就是说，如果让它们消耗大量Token，它们在那个点之后还会继续变好。而这可能需要非常长的运行时间。
但你也能看到，性能提升并不是突然发生的、不连续的跳跃。你可以在一段较长的推理过程中看到一条持续提升的斜率。所以或许可以先在某个预算以内进行评估，然后说：“好，这是我们预测它在更高预算下会呈现出的表现。”
这方面还没有太多研究。对于正在寻找研究题目的学者来说，这会是一篇很好的论文：能不能只用较低推理预算下的表现，去预测模型在更高推理预算下的表现？
Sarah Guo：我换个角度问你。你觉得用户是不是普遍没有让模型针对问题思考足够久？
Noam Brown：你说的“没有思考足够久”是什么意思？
Sarah Guo：比如，如果你可以构建一个智能体，或者控制推理计算预算的使用量，那么这里既有模型自身做的事情，也有用户可以做的事情。你觉得现在行业使用推理计算预算的程度是刚好合适，还是严重不足？或者问题出在模型本身——它们需要能更快地完成这种思考？
Noam Brown：这取决于具体问题。让模型思考很长时间然后再回答，这个想法听起来很好。Benchmark结果可能也会很好看。但在实际工作中，它并不太实用。因为你问模型一个问题，然后坐在那里等它很久后回来，这不适合大多数工作方式。
人们目前发现最有效的做法，是和模型快速迭代。所以模型的思考时间应该是灵活的。当它应该快速回应用户时，就应该快速回应。当它确实需要长时间思考，并且用户也希望它长时间思考时，那就应该让它思考更久。在目前条件下，人们已经在尽量寻找一个合理平衡。
Benchmark刷分与扑克机器人：看起来更强，不等于真的更强
Sarah Guo：现在很多人在讨论Benchmark刷分，也就是通过某些方式“刷”Benchmark，或者说让Benchmark被游戏化。你怎么看今天的Benchmark环境？你有没有觉得哪些Benchmark更能代表真实能力？
Noam Brown：Benchmark刷分也是我写这篇文章的原因之一。现在很容易通过把多个模型组织在同一个任务框架里，让一个系统在Benchmark上看起来比过去的模型强很多。
比如，你可以说：“我们不让这个模型只运行一次，而是让它运行五次，然后从五个回答里挑最好的。”或者再让一个评判模型来判断哪个答案最好。这样你就能得到比原模型高很多的分数。
所以你很容易做出一个在纸面上看起来强很多的东西，但一旦控制推理计算预算，它其实未必更强。这是我对Benchmark刷分担心的地方：它有点误导性。
至于Benchmark本身，总是存在一个风险：大家会开始针对这个Benchmark本身进行优化。我当然也鼓励我的团队不要专门优化某个具体Benchmark。OpenAI在这方面做得还不错。但只要你把一个Benchmark公开出来，它就永远有被针对性优化的风险。解决这个问题的一种方式，是保留一套不公开的测试集。
Sarah Guo：现在大家判断一个模型是否明显更好时，最常见的建议就是：自己上手玩一会儿。除了OpenAI内部保留的私有测试集之外，你有没有更成熟一点的方法？比如每次新模型出来，你会不会自己构建一套新的评估？
Noam Brown：每个人都会有自己喜欢问模型的一组问题。对我来说，最近我会用模型来做扑克机器人，看看它们能把扑克机器人做得多好。
这是一个很好的评估，因为关于如何制作强扑克机器人的开源代码非常少。虽然相关论文很多，但你必须真正把整个问题推理清楚。它需要大量推理、迭代，也有很多小细节上的坑。而这些坑我自己已经经历过，所以我能看出模型在过程中会在哪里失败。现在模型在这方面已经变得非常强了。
Sarah Guo：那你能不能结合你做扑克机器人的经历，讲讲这几代模型里推理能力是怎么进步的？
早期模型在这方面真的很差。基本上什么都做不了。到了5.2，我已经能和它一起做一个river solver，也就是扑克最后阶段的求解器。这件事本身已经让我觉得很惊艳了。虽然我还是要和它一起推进一下，但确实很惊讶，因为我做出这个求解器的速度，大概比自己一个人做要快五倍。
它也会被一些问题绊住。比如blockers一直是一个很大的问题。但总体来说，只要稍微引导一下，它就有点像一个研究生：它会遇到问题，但至少我知道问题在哪里，也知道该怎么修正。我可以给它建议，然后它继续去做，很快就能回来一个挺好的结果。
尤其是优化部分，非常惊艳。它能把代码优化到比我自己写的版本快很多，因为它非常擅长做代码优化。
但5.2的缺点是，有时会“自信地误导”我。我总是必须非常小心地检查它，确认它到底有没有真的完成它说自己完成的事情。
比如我记得有一次，我拿其中一个模型做测试。我作为单元测试问它：“假设底池里有100美元，然后我弃牌了，那我损失多少钱？”模型回答：“92美元。”我说：“这太离谱了。我底池里有100美元，然后我弃牌了，怎么可能不是损失100美元？”它说：“92美元，挺接近100美元的，没关系，不是什么大问题。”
我当时就觉得，这显然是个问题。所以之前的模型确实有一个问题：它们经常会把你带偏，或者让你怀疑自己。但到了更新一代的模型，它明显好很多。它基本上可以在几乎不需要额外示范的情况下完成这类任务。我最近一直在做一个完整规模的扑克求解器，它在我稍微引导的情况下，基本上已经能做完整个东西。
我甚至不会惊讶于六个月或一年后，模型可以在几乎不需要额外示范的情况下完成整个扑克求解器。那基本上相当于一次性完成我的博士论文。
安全评估的新难题：高预算下的模型能力如何衡量？
Sarah Guo：我们来聊聊这件事更大的影响。也就是说，我们需要根据模型推理速度、效率、Token数量、美元预算，或者其他尺度来评估模型。你能不能讲讲你文章里提到的一些更大影响，尤其是安全评估方面？
Noam Brown：安全评估这件事，有点像一个“难言之隐”。先补充一点背景。现在所有实验室都有一些东西，叫负责任扩展政策，或者风险准备框架，不同实验室叫法不同。它们的基本想法是：每次模型发布前，都要经过一系列评估，衡量它是否具备某些高风险能力。
比如，模型是否能够完成一些我们不希望恶意使用者去做的事情。如果模型能力不强，那问题不大。但如果它确实非常强，就需要采取一些缓解措施。真正的问题是：你到底如何评估模型是否具备这种能力？
这些框架里有各种评估协议。但很多框架是在ChatGPT前后那个时代发展出来的。那个时候，测试时计算扩展还不是一个特别重要的事情。在GPT-3时代，这种逻辑是说得通的。因为你无法真正扩展GPT-3的测试时计算。如果你给它1000万美元预算，然后说：“好，我们看看GPT-3能做什么。”它其实也做不了比10美元或1美元预算下多多少的事情。
风险准备框架和负责任扩展政策并没有真正考虑测试时计算的数量。它们只是说：“好，这个模型的能力是什么？”但问题是，我们现在已经进入了一个世界：模型能力是你投入多少钱的函数。如果你给它1万美元预算，它能做的事情就比10美元预算下多很多。如果你给它1000万美元预算，它还能做更多。
所以问题就是：你应该在多大的预算下评估这些模型？今天已有的政策并没有真正回答这个问题。至于模型是否无论如何都应该发布，我不想在这里评价这个问题。双方都有各自的理由。但重要的是，我们要承认：这个问题现在并没有被真正处理。某种程度上，大家是在假装它不存在。无论最后采取哪种方式，我们都必须把这个问题纳入考虑。
Sarah Guo：这其实是能力问题的镜像。如果模型在某些任务上可以随着更大预算持续变强，不会很快到达平台期，那么对于那些社会不希望模型去做的任务，也同样可能发生这种情况。
所以测试这类能力，以及给它分配多少预算，就变得非常重要。这件事似乎也和模型发布周期不匹配。现在模型发布速度越来越快，有时候很短时间内就会有新模型，而不是过去那种较长周期发布一次。你在文章里有一句话说，如果要真正评估一个智能体在某些长周期任务上的能力，也许唯一方式就是让它运行很久。那你怎么看这个问题和模型发布周期之间的关系？
Noam Brown：这也是一个很有意思的动态。基本上，随着模型变得更强，它们也更擅长在更长时间跨度上运行。再以早期大语言模型为例，如果你想让它运行一周，其实没有太多办法把它组织成一个真正有用、能持续运行一周的系统。但今天我们看到，最新模型已经可以被组织起来，比如被安排成执行一系列实验，运行数周甚至更长时间。
Sarah Guo：那你有没有给你的扑克求解器任务无限预算？
Noam Brown：我还没有真正搭建出一个系统，然后告诉它：“好，你就跑几周吧。”但我可以给它一个目标，然后告诉它：“放手去做。”
不过现在这个阶段，它可以完成river solver，也就是扑克最后阶段的求解器。如果我只给它一个目标，我还不觉得它已经能完成完整的扑克求解器，比如让它自己跑一段时间后交给我完整结果。但我们很快会到达那个点。到时候我可能真的可以告诉它：“你去研究这个问题一段时间，然后回来给我一个完整的、达到前沿水平的扑克求解器。”
问题是，如果你想评估一个模型的能力，也就是它长时间运行后能做什么，唯一能完全确定的方法，就是让它真的运行足够久。如果你想知道它更长时间运行后的表现，唯一能完全确定的方法，也还是让它真实运行对应时间。
今天的模型发布周期是这样的：我们每隔一段时间就在发布新模型。一个模型发布出来，你可能需要一段时间才能把它推到极限，然后另一个模型又发布了。所以，没有人真正知道这些模型的能力天花板在哪里，因为没有人真的让它们运行足够久去看清楚。
Sarah Guo：你觉得已经发布的模型里，是否存在一些令人兴奋的潜在能力，只是因为时间不够，大家还没有完全探索出来？
Noam Brown：绝对有。一个很好的例子是Erdős单位距离问题。对于不了解的观众来说，几周前，我们在OpenAI使用一个内部模型，推翻了Erdős单位距离猜想。我不是