Google DeepMind 和 Artificial Analysis 联合发了个基准，叫 MKA，全称 Multimodal Knowledge Agent。它用 200 道题考 Agent。考的是视觉复杂文档上的真实知识工作。这件事值得写的不是又多了一个榜单。它挑明了一个问题。以前的知识工作基准，光看文本就能答完，根本考不到看图的能力。这一句是这篇的起点。这篇里的数字，我从 blog.google 的发布文章里一个个核过，出处都标在正文里。

200 道题从哪来

先拆数字。我查了原文，把 200 这个数的来历核了一遍。200 道题是个私有评估集，由 Artificial Analysis 运行并保密，防止题目泄进训练数据。另有 10 道公开题挂在 HuggingFace，数据集叫 google/multimodal-knowledge-agent。

题目不是随便出的。它由 10 个垂直领域、83 种职业的专家共建，覆盖建筑、生物、保险核保、数据科学这些行当。每条题对应一个资深从业者 3 到 8 小时的项目。这些数字我都回原文对过。一个没拍脑袋。

这个设计在针对什么，原文说得很清楚。大多数知识工作基准，光看文本就能答完，压根不用看图像。但真实的专业工作高度依赖图纸、蓝图、表格版式。MKA 就是要逼模型去读这些视觉结构。不是靠文本糊过去。我看完这段的第一反应是，这确实戳中了一个评测盲区。

我核对数字的过程是这样的。我先抓了 blog.google 那篇发布文章的全文，看到 200 道题、10 个领域、83 种职业这几个数字。逐个抄下来，回原文对。对到 96% 一致率这一条，我打开技术报告核了一遍。对到 6 倍成本差这一条，我多看了一眼，官方原文说的是比最高分模型低 6 倍，不是比所有模型都低。这个限定词我保留下来了。官方原文写的是低 6 倍，不是含糊的便宜 6 倍。

96% 这个一致率怎么来的

评分这件事也有讲究。每条题配了大约 70 项 yes/no 检查项，权重是 75% 给事实准确性，25% 给视觉呈现。自动评分器构建在非 Google 模型之上，它会逐个打开文件、渲染页面、检查电子表格里的公式，再对照专家的评分标准核对。这个评分器跟领域专家人工评分的一致率是 96%。

用非 Google 模型做评分器，这个选择很关键。它避免了自己出题自己判的利益冲突，让 Gemini 系列的成绩不至于被自家评分器放水。官方博客写了 96% 这个数。一致率这么高，说明自动评分能替代大部分人工。评测才跑得起来。我打开官方发布文章，把 75%、25%、96% 这三个数一条条抄了下来。不是我算的。

统一框架 Stirrup

还有个容易被忽略的技术点。所有受测模型都跑在同一个开源框架 Stirrup 里，工具、沙箱、回合预算全部一致。受测模型完成同一道题，平均要用 30 到 130 个 turns。效率差异极大。我拆开技术报告里 Stirrup 这一段，看到 30 到 130 这个跨度。这个跨度说明同一道题，有的模型 30 个回合就收工，有的要 130 个。慢的不一定差，但一定更贵。这个设计回答了一个质疑：不同模型比的是不是同一件事。工具一样、沙箱一样、预算一样，剩下的差距才是模型本身的差距。

我的判断是：统一 harness 是这类基准能不能服众的前提。没有它，一个模型用了更强的工具、另一个没有，比出来的就不是模型能力，是工具配置。这一条是我读技术报告部分最认同一处设计。

Gemini 4 Carbon 的成绩

结果这一块。官方发布文章里，Gemini 4 Carbon 质量排第二，完成任务的平均成本比第一名低 6 倍，落在质量价格那条帕累托前沿上。我核这条时打开原文又看了一遍，6 倍是相对最高分模型说的。模型 ID 是 gemini-4-carbon，已经通过 Gemini API 在 Google AI Studio 开放。想自己跑的话，Artificial Analysis 官网的 evaluations/mka 入口可以直接评自有模型。

这里要提醒一句别过度解读。第二名加上 6 倍的成本差，官方原文没说它就是最好的选择。它只是说在质量够用的前提下它便宜。选模型看的是你的任务落在哪个点。不是盯着一个排名。这个判断是我加的，原文只给了事实，没替你做选型。

对选模型意味着什么

这条基准对开发者的实际意义，是它补上了多模态 Agent 的一块空缺。以前选 Agent 模型，看的多是文本问答榜，那些榜考不出看图纸的能力。现在有了一个专门考视觉文档知识工作的基准，你在选模型时多了一个可对表的维度。

给个分界。你做的是要读图纸、表格、版式的 Agent，那 MKA 的排名值得看，尤其关注视觉呈现那 25% 的权重，那才是它区别于文本榜的地方。你做的 Agent 纯文本就能搞定，那这个基准对你意义不大，别被一个新榜单带着跑。选模型永远看你的任务，不是看谁家的新基准更热闹。