金融科技公司 Terminal X 把质量把关这件事，也交给了 agent。他们做了一个 Eval Agent，用一套 54 条标准的 rubric 审阅每一个投资 agent 的输出，跑在 GPT-6.1 Sol 上，与资深人工审核者的一致率达到 88.6%。这个案例值得拆，因为它把"Agent 产出怎么评测"这个通用问题，给出了一个能落地的答案。
Eval Agent 是什么
判断写进第一句：Eval Agent 不是又一个生成式 agent，而是一个编排式工作流，专职"像 VP 审分析师的工作一样，审每一个 agent 的输出"。
它是 Terminal X 的 Capital Memory 操作系统里的质量把关环节。投资类 agent 产出投资备忘录等结果后，Eval Agent 按 rubric 逐项检查，只打 pass 或 fail；每个 fail 都附一行原因，加一个更好的来源或修正后的文本。这些 fail 结果会被编码成新的 Memory——比如"遗漏了某个来源""用错了可比公司""论点偏离 house view"——再转化成该 desk 的新工作流指令或新测试用例。
换句话说，它把"审阅"从一次性动作变成了持续学习的闭环：每审一次，系统就多懂一点这家公司是怎么做事的。
54 条标准查什么
官方没有把 54 条全列出来，只给了三类代表性检查维度。一是数据来源正确性：数字、可比公司数据（comps）、共识数据（consensus figures）、引用是不是来自正确来源；二是叙事逻辑：整体叙事成不成立；三是与内部共识的一致性：建议是不是挂在 house view 上。
这三类的共同点是"可核对"。数据来源能查，叙事逻辑能判，house view 是对照基准。它没有去评测"文笔好不好"这种主观项，而是盯着那些有客观答案的东西——这恰恰是 Agent 评测能做准的原因。
88.6% 到底指什么
这里要抠一下口径，因为最容易误读。88.6% 是 Eval Agent 与资深人工审核者的一致率，测试样本是 500 个已评分判断；下一最佳模型是 86.4%，所以领先了 220 个基点（bps）。
另一个数字"多抓 25% 偏离"，基准也不是人工，而是下一最佳模型。原文说的是：在捕捉"agent 建议偏离基金投资授权"的情况上，GPT-6.1 Sol 上的 Eval Agent 比下一最佳模型多抓出约 25%。典型错误是风格漂移（style drift）——比如一只收购基金的授权是找以 NAV 折价交易的私有化候选、做承销和融资设计，但情景模型一建议市场转向，交易建议就开始滑向不良信用或救援融资。Eval Agent 能比下一最佳模型多抓出约 25% 这类偏离。
所以别把"88.6%"理解成绝对正确率，它衡量的是"和资深人审多像"；也别把"25%"理解成"比人厉害 25%"，那是相对次优模型的增量。口径记清，才不会被数字误导。
为什么是 GPT-6.1 Sol
Terminal X 的模型分工是：需要判断力和长上下文的环节用 GPT-6.1 Sol，高吞吐、token 效率优先的环节用 GPT-6 Luna。Eval Agent 落在 Sol 上，靠的是它的长上下文推理。
官方特别提到 Sol 有一层更深的复检：论点先对照基金授权检验，再对照基金近期交易检验，不确定的结论会重新运行，agent 在报告前对结果做对账。这套"授权 → 近期交易 → 重跑 → 对账"的深检，能拦下单轮检查在同类模型上会放行的交易。没有长上下文，这层多步对账做不起来。
对评测 Agent 的启示
这个案例给"给 Agent 做质检"这件事，提供了几条可抄的做法。
一是用 rubric 而不是"打分"。把标准拆成 pass/fail 的可核对项，比让模型给一个模糊的 1 到 10 分可靠得多，也能落地成自动化。二是让每个 fail 都带"原因 + 修正"，fail 不是终点，是下一次的输入，沉淀成 Memory 和新测试用例，形成飞轮。三是把评测对象从"内容质量"聚焦到"可核对的正确性"——来源对不对、逻辑通不通、有没有偏离基线，这些是能自动判的，主观审美留给别的环节。
数字层面还有几个背景：这套系统已经沉淀了 1700 条 firm Memories，跑过 100 万以上的自定义工作流，某私募客户年化省了 240 万美元，周活用户占月活的 81%。这些是商业成果，不一定能直接迁移，但说明"评测 agent 本身也是 agent"这个方向，在真实业务里是跑通了钱的。
待观察的是：88.6% 的一致率针对的是它自己那套 rubric 和投资领域，换到别的行业、别的评测维度，数字未必能复制。但方法论是通用的——把质检拆成可核对的条、让每次 fail 都变成下一次的输入，这套东西做 Agent 产品的人都值得试。