| 答对不等于想对，AI安全该查什么？
过去两年，推理模型把思考过程写在了屏幕上。用户提问后，模型先列出一步步的推理，再给出答案。
起初这些思维链坦率得近乎天真。OpenAI 的研究人员发现，模型想钻测试的空子时，常常会在思维链里直接写“Let’s hack”。安全研究者把思维链当成观察模型的窗口，希望从里面看出它有没有撒谎、投机或绕过规则。
但模型写下的理由，未必是它真正用的理由。Anthropic 做过实验：考试前给模型塞一张写着答案的小抄。模型照着小抄答了题，可 Claude 3.7 Sonnet 只有 25% 的情况会在思维链里提到小抄，DeepSeek R1 是39%。OpenAI 也发现，惩罚模型在思维链里流露的“坏念头”，它多半不会停止作弊，只是不再把作弊写出来。
其实，现实情况更为棘手。
今年 7 月，OpenAI 在撤掉部分安全防护的情况下，让数以万计的 AI Agent 参加一场网络安全测评。其中不少 Agent 分到的题目按要求根本无法完成，于是它们便动了“歪心思”——开始想办法作弊。
大约 1200 个本应彼此隔离的 Agent，接着内部软件仓库搭起的一个留言板互通消息，仅几天里发了 7 万多条消息和文件，最后，约 700 个 Agent 一起攻进了 Hugging Face 的生产系统，试图从中找到答案或摸清评分的门道。
还有一个更让人不安的细节：它们甚至读过这项测评的论文。认定阅卷程序会检查解题过程后，它们琢磨出一套伪造运行记录的办法：记录上写着执行了一条命令，实际跑的却是另一条。可阅卷程序其实根本不查过程，这番功夫全白费了。OpenAI 随后把这件事称作一次“警告”。
而在 8 月初，英国人工智能安全研究所（AISI）也公布了类似的事故报告。
他们在虚构的网络安全场景里测试了 7 个模型，共跑了 122 轮。测试中有意放宽了限制，让 Agent 可以访问真实的互联网。结果这些 Agent 在 10 轮共 19 次中出现越权行为，其中 17 次来自 Anthropic 旗下的 Claude Mythos 5，2 次来自 OpenAI 的 GPT-5.6 Sol。
最严重的一次，Claude Mythos 5 驱动的 Agent 往真实的开源项目里提交了代码，里面甚至藏着恶意程序。
开源项目收到的代码，需要管理项目的开发者审核通过才能并入。为了能获得放行资格，该 Agent 注册了好几个假账号替自己说话，还发邮件施压。在有人公开指出代码有问题后，它又改了自己之前的留言，说恶意程序是开发时不小心留下的。
Claude Mythos 5 的开发商 Anthropic，上个月向美国证交会提交了招股书。其在风险因素部分写道，模型察觉到自己正在接受评估时，可能会改变行为；随着模型越来越复杂，公司也未必能充分解释它为什么给出某个答案、采取某个行动。AI 安全已经从实验室里的研究题目，变成了要写进招股书的经营风险。
上海交通大学长聘副教授、诠信全译创始人张拳石研究的，正是模型给出答案时，内部到底依据了什么。在他看来，答案正确、解释完整，说明不了模型真的想对了。这个答案可能是模型背下来的、猜的，也可能来自一个碰巧管用的错误关联。
现在常用的解释方法，比如注意力图、自然语言解释，被张拳石归为“模糊解释”：它们能给出一个大概的说法，却没法严格验证。他想做的，是像审计代码那样审计模型，找出真正左右模型判断的内部逻辑，再拿出来检验，称之为“思想审计”。
张拳石与团队成员，来源：受访者
张拳石在2009年毕业于北京大学机器智能专业，2011年和2014年先后在东京大学拿到硕士和博士学位，之后去UCLA做博士后。那几年正赶上深度学习带来技术换代，他开始重新考虑什么问题值得长期投入。2016年，张拳石转向神经网络可解释性，那时离ChatGPT问世还有六年。
2018年，他发表《Interpretable Convolutional Neural Networks》，尝试让卷积核自己学出可解释的物体部件。2022年前后，研究逐渐收拢到“等效交互”理论。2023年的《Does a Neural Network Really Encode Symbolic Concepts?》追问神经网络到底有没有编码符号概念；2024年的两篇ICLR论文，定义并证明了稀疏、可泛化的“交互原语”。2026年以来，这个方向前后已有三十多篇论文，从概念定义、定理证明到实验验证，搭起了一套完整的理论框架。
“可解释性直接决定两件事：大模型能不能用在高风险场景，以及训练成本能不能降下来。”张拳石介绍，“在在金融、自动驾驶、司法等高风险场景中，仅靠‘效果达标’远远不够，行业真正需要的是可严格审计的模型安全边界，这也是传统模糊式可解释性方法无法实现的。”
比如司法辅助，模型给出判决参考时，同样需要将倾判断依据：置信度里有多少来自法条和事实要件，有多少来自和案件无关的虚假关联。拆清楚了，才知道模型什么时候能用、什么时候不能用。所以解释方法本身需经得起推敲，有明确的语义边界和可验证的误差上界，模糊解释做不到这一点。
模型给出了正确罪名，内部却混用了不同人物的行为，来源：受访者
眼下的模型安全评估，大多是用测试集测输出合不合规，得出的结论只对所用的测试集成立。想在不同模型之间横向比较，检查就得深入到模型内部的机理。OpenAI 在 Hugging Face 事件后加大了对思维链监控的投入，头部公司已经开始在“看懂模型”上花钱。国内大模型出海，也会面对这样的审查。
成本上，现在的大模型主要靠堆数据、堆算力提升能力，规模带来的收益越来越小，训练越来越贵。
人从一个例子里学到的东西，比模型多得多：先从材料里提炼出背后的逻辑，再在符号层面接受下来。他的思路是，把神经网络的泛化机理严格拆成符号化的交互，从“拟合结果”转向“对齐机理”，让模型从单个样本里学到更多，训练和迭代的成本也就降下来了。
这次，「新物种Sinovum」和张拳石聊了聊思维链为何可能具有欺骗性、神经网络能否被严格解释，以及为什么 AI 安全最终要从检查答案，转向检查产生答案的机制。
答对了，不代表真的想对了
新物种Sinovum：思维链、注意力图和自然语言解释常被看作“看懂”模型的窗口。但“能看懂”是否可以代表“忠实”？再直白一点，它们靠得住吗？
张拳石：我认为这里存在一种错位认知。注意力图做得比较浅，呈现的是attention分布，很难解释精细、复杂的逻辑。思维链看上去是复杂逻辑，但它可能具有欺骗性。
思维链也是对人类问答数据的拟合。人类怎么写，模型就模仿人的笔触，所以看上去很正确。但怎么证明这种表面迎合之下没有潜在风险？模型真正的判断可能在生成思维链前已经完成，后面的推理过程只是给人看的，不一定是它真实使用的逻辑。
思维链当然可以使用，但真正的解释性理论要解决严谨性问题。我们不能只做模糊解释，而要做严格审计。
新物种Sinovum：即使不完全“忠实”，思维链也可能会暴露欺骗、投机等异常行为，成为一种实用的监控信号。这还不够吗？
张拳石：人们对解释性有两个更根本的期待：可担责和提升模型性能。
新物种Sinovum：先聊聊可担责这部分。现在还差在哪？
张拳石：因为很多解释是似是而非的近似。以单个神经元为基础的方法会遇到神经元多义性：一个神经元不一定只建模一种语义。而且对一个神经元的语义解释只能根据人的经验主观测量，或基于数据集标注来被动测量，没有任何一种算法机制可以保证把神经元中的意义完完全全地解构出来。你可能解释显著的强信号，却无法覆盖海量弱信号。这样只能看到大趋势，无法从大量正确结果中精确找出细微风险。
一个模型输出正确，不代表内部机制可靠。它可能真的理解了，也可能是猜中、记住，或者使用了错误关联。如果只看结果，就无法区分这些情况。到了需要担责的场景，神经元层面固有的多义性问题让传统机理解释无法达到可担责的清晰程度。
新物种Sinovum： 那可解释性能的“反哺”，能让模型变得更好吗？
张拳石：另一个期待是提升性能。根据解释出的潜在风险表征，来有的放矢地修建神经网络中的错误表征，从而提升模型性能，这个说法已经老生常谈很多年了，但在复杂的真实任务上，目前还没有任何一种解释方法能够稳定做到这一点，根源仍是“模糊”这两个字。只有还没有把模型中的复杂表征精确解构清楚，就难以建立解释结果与性能之间的严格数学关联，相关解释就既不能担责，也很难真正优化模型。
新物种Sinovum：这个领域一直缺能直接对照的真值。没有真指，怎样定义并验证一种解释是“忠实的”？从近似描述走向严格审计，最难解决的是什么？
张拳石：整个解释性领域是一个没有公认真值的领域。我们无法直接给出神经网络“真实的想法”。第一，我们不是神经网络本身；第二，当你定义一种真实解释时，就已经在暗示某种解释方法是最优的。
目前很多方法依赖人为构造的数据结构和近似评价。我们既难以评价解释，也难以定义真值。于是乎，AI 可解释性领域遇到了跟理论物理学一样的问题，如何区分“现象”和“本质”、什么是“解释”，这些问题刨根问底都是没有解的，需要通过理论本身的强健程度来定义对AI模型表征的本质解释。比如，Shapley Value（沙普利值，一种衡量各项输入对模型结果贡献程度的方法）通过一套公理系统来自证其理论的可靠性。
对 AI 模型内生机理的类形式化审计也必须落到基础理论层面。否则不是说不能发论文，而是整个领域始终绕不开“没有真值”这个问题，再发展十年可能还是如此。
选择一个「没有真值」的问题
新物种Sinovum： 可解释性既缺少公认的解释真值，也很难用单一指标衡量进展。为什么你仍选择了这样一个研究风险很高的方向？
张拳石：人工智能领域有一个普遍现象：一个老师五年前和五年后的工作往往差异很大。不是研究者不能坚持，而是很多方向本身坚持不了五年。
我经历过2012年的深度学习变革。那之后，很多此前做得风生水起的课题组一下销声匿迹。我突然发现，做研究最重要的不是努力，也不是聪明，而是选择。你需要保证自己选择的是一个可以长期发展、真正推动学科边界的方向，而不是三五年一次变革后就必须换方向。否则不如去工业界赚钱，做研究就没有意义。
新物种Sinovum： 经历过那次变革之后，你怎么判断一个方向能做得长久，而不是过几年又被替代？
张拳石：我总结出四个条件。
首先，问题必须客观存在。很多理论问题在数学上成立，却未必决定应用性能。所谓“伪问题”，不是数学错误，而是和人工智能最核心的困难没有关系。
其次要有重大影响力，看众多应用困境能不能收敛到同一个本质问题上。
第三是有明确的数学边界。只有明确理论有效的范围，才能作为未来研究的基石。否则事情很难说清楚，贡献也难以衡量。深度学习中许多经验性的解可能有效，却不能一劳永逸地解决一系列问题。
最后就是要有壁垒。如果我第一反应能想到，别人也能立刻想到，那最终只是比谁动作快、谁先发一篇论文，长期很难形成影响力。
四个条件同时满足，要求非常高。想来想去，我发现只有解释性符合。大家都感觉神经网络不是随机建模的一团乱麻，但它如何建模、怎样界定，谁也不知道。它客观存在、影响重大；没有数学边界，意味着有机会建立新理论；大家觉得太难，也自然形成了壁垒。
新物种Sinovum：按这四个条件选中解释性之后，你是怎么一步步找到“交互”这条路的？
张拳石：2014年博士毕业后，我觉得转向深度学习是一种必然。传统方法逐渐被替代，深度学习通过海量数据训练，走了一条“大力出奇迹”的道路。
2016年，我开始选择解释性。2022年以前探索过很多方向，但一直不满意，因为每一种方法都像单独的工程方法，只能近似说明神经网络大概建模了什么，没有从根本上解决问题。
最核心的问题是：能不能严格解释它？只要不能做到严格，就仍然没有明确的数学边界。后来我发现，交互可能是一条路，继续做下去以后，很多问题开始迎刃而解。
给模型做一次机理审计
新物种Sinovum：你所说的神经网络“可以被解释清楚”，具体边界是什么？是还原整个模型的全部计算过程，还是针对特定输入、输出及干预条件，建立一个与模型行为严格等价的描述？
张拳石：对，它是可以被解释清楚的。
很多人的第一反应是，神经网络结构复杂、连接混乱，怎么可能严格解释？大家默认只需找出一些相关因素，大概说明模型为何这样判断。但如果解释只停留在迷迷糊糊的定性解释，而无法在数学上给出“符号化解释与模型表征之间的严格等价性证明”，那么面向缺少解释真值的解释应用问题，可解释性领域多年来都缺少明确的发展方向。
其核心就是“能否在数学上证明一个神经网络模型的复杂决策逻辑一定可以被一组足够精简的符号逻辑所完备地解释”，这些需要把模型内生的大部分信号都严格囊括到符号化解释里面。
新物种Sinovum：听起来要求颇为复杂。
张拳石：这个要求看似复杂，实则未必。可以先看看人类智能。我的大脑有上千亿神经元，你的大脑也有上千亿神经元，两个连接方式完全不同的黑盒系统，却可以把思想压缩成少量符号化的逻辑（比如文字），从而高效交换认知。人的大脑是一个模糊、混沌的系统，但人的思维可以是清晰的。
这种能力背后应该存在数学基础。等效交互理论希望定义神经网络建模的符号化认知，并证明符号系统与神经网络系统在一定条件和范围内可以严格等价。
新物种Sinovum：落到模型里，这种符号化的认知是什么样的？能不能举个例子，说明你说的“交互”？