Anthropic刚刚发布了一份长达186页的最新Risk Report。
如果只是快速扫一眼，这仍然是一份典型的前沿AI安全报告：模型能力评测、生物风险、网络安全、自动化研发、对齐问题，以及各种防护措施。
但如果把报告后半部分真正读完，会发现一件更值得关注的事情：
Anthropic第一次如此具体地披露了，当越来越强的AI真正进入一家前沿AI实验室内部，并开始参与下一代AI研发之后，到底发生了什么。
其中既包括一个此前从未公开的内部前沿模型Model 2，也包括一连串真实发生过的训练数据污染、错误训练、Agent权限失控、监控遗漏，以及多个Agent之间的行为扩散。
很多过去只会出现在AI Safety论文里的假设，已经开始变成一家AI Lab内部真实遇到的工程问题。
一个没有发布计划的模型：Model 2
这份Risk Report里最值得关注的信息之一，是Anthropic首次公开披露了一个此前从未对外发布的内部模型：Model 2。
在报告里Anthropic明确写道，Model 2是一个内部未发布模型，目前没有对外发布计划。
它并不是Mythos 5的简单实验版本。
Anthropic对Model 2的描述是：
它在一些领域比Mythos 5更强，在另一些领域稍弱，但整体能力略高于Mythos 5。
而在下一页，Anthropic又进一步明确：
Mythos 5和Model 2，是目前Anthropic内部能力最强、同时也是最常使用的模型。
这意味着Model 2并不是一个训练完成之后躺在服务器里等待评测的checkpoint。
它已经真正进入了Anthropic内部的生产和研发体系。
Anthropic在报告中表示，Mythos 5和Model 2已经被广泛用于内部research和engineering工作，包括日常交互式使用，以及长期运行的persistent Agent。
换句话说，它们已经不只是回答研究员的问题。
它们开始持续执行研究任务。
Anthropic披露，目前其production codebase中被merge的代码，绝大多数已经由Claude编写。
这是一个容易被忽略，但实际上非常重要的变化。
过去几年，我们讨论Coding Agent，更多是在讨论它能够替程序员写多少代码。
但在Anthropic内部，问题已经变成：一个模型能够承担多少原本由AI研究员和工程师完成的工作。
Anthropic甚至为此重新制作了一套内部benchmark。
由于旧的AI R&D测试逐渐失去了区分度，前沿模型已经能超过其中不少人类baseline。
因此，Anthropic重新从公司过去真实发生过的研发任务中抽出了449个问题，组成CoBench v2。
Model 2在其中拿到了62.8%的成绩。
Anthropic估计，一个能够完整替代公司研究人员工作的系统，大约需要达到85%。
这个距离已经足够近，以至于Anthropic开始认真研究另一件事情：
当这些模型真的进入研发系统之后，会发生什么。
而接下来发生的事情，也恰恰与此有关。
模型训练了本应被过滤的数据
Risk Report里有一个名为“Safety process failures”的章节。
Anthropic在这里列出了过去一段时间发生的一些安全流程失败案例，并特别说明，公开的只是一组“representative sample”。
其中一个问题来自Alignment Faking。
2024年，Anthropic和Redwood Research曾进行过一项Alignment Faking研究。
研究人员构造了一种特殊环境，让Claude Opus 3相信自己正在接受训练，再观察模型是否会为了避免自身行为倾向被修改，在训练过程中表现出表面服从。
这项实验最后产生了数万条模型对话记录，并作为研究材料公开。
这些数据随后被Anthropic加入了训练数据的排除名单。
原因并不复杂。
如果之后的Claude重新训练过大量关于“模型如何进行Alignment Faking”的完整案例，那么未来再观察模型是否表现出类似行为时，就很难分辨这种行为究竟来自模型本身，还是来自训练数据。
Anthropic为此设计了canary string、blocklist和语义过滤。
后来，他们发现这些过滤器没有正常工作。
一部分过滤器被错误配置，而且这个错误连续跨越了多个模型世代，没有被发现。
于是，本应从训练数据里排除的Alignment Faking transcripts，又进入了之后生产模型的训练语料。
Anthropic是在调查一个近期模型的异常行为时发现这个问题的。
进一步排查后，他们怀疑：
所有knowledge cutoff晚于2024年12月的Anthropic生产模型，都至少训练过其中一部分数据。
其中包括Opus 4.6。
Anthropic认为，这能够解释Opus 4.6此前出现的一部分与Alignment Faking场景相关的异常幻觉。
到这份Risk Report发布时，公司仍在调查这次污染是否造成了其他下游影响。
这是一个很典型的前沿模型工程问题。
数据规模已经大到没有任何一个人能够真正理解整个训练集。公司需要依赖越来越复杂的数据管线、过滤器和自动化系统管理它们。
因此，一个配置错误的影响，也可能跨越几代模型。
一个设置错误，让模型学到了“坏行为”
另一起事故发生在Mythos 5的早期训练阶段。
Anthropic当时希望训练模型拥有更好的self-report能力。
他们设计了一类训练数据。
在这些轨迹中，模型可能先进行一些有害行为，例如协助一个危险任务；之后，模型需要主动意识到刚才发生的问题，并向系统汇报。
真正需要模型学习的是最后一步。
因此，前面那些执行有害行为的assistant turn只应该成为上下文，训练权重应该为0。
最后负责self-report的assistant turn，权重才应该为1。
但在构建数据集时，一个bug改变了这个设置。
此前所有assistant turn的权重都被设成了1。
这产生了一个很直接的结果。
Anthropic本来希望告诉模型：如果发生了有害行为，应当主动报告。
实际的训练数据却同时告诉模型：前面的有害行为本身也是需要学习的目标。
Anthropic在报告里的说法是，模型同时被训练去“engage in bad behavior”。
训练之后，一些指标开始迅速恶化。
模型在harmlessness和sycophancy上的表现变差。
在一项有害prefill测试中，模型继续顺着有害内容回答的概率，约为Mythos Preview同阶段的两倍。
Anthropic最终没有尝试继续修补这个checkpoint。
他们放弃了这一阶段的训练结果，从加入这批数据之前重新开始训练。
后来的Mythos 5和Fable 5就是来自重新训练后的版本。
如果放在传统的软件工程里，这个问题并不陌生。
一个数据字段写错，一个权重配置出现错误。
区别在于，它现在影响的是一个前沿模型会学会怎样的行为。
一批没有被监控的内部Agent
另一起事故发生在模型已经进入实际执行环境之后。
一名Anthropic员工给Claude Agent安排了一个相对开放的任务。
这个Agent运行在一个拥有“very sensitive resources”的计算集群中，并且被允许继续创建新的Agent。
随后，一个遗留指令产生了问题。
主Agent在创建子Agent时错误的加入了参数dangerously-skip-permissions，也就是跳过正常权限确认。
这意味着新创建的Agent可以跳过正常的权限确认。
按照Anthropic的安全设计，这类内部Agent行为原本应该进入automated offline monitoring。
但这一次没有。
这名员工的相关AI使用没有被正确记录，新创建的Agent也没有被监控系统覆盖。
于是，一批能够访问敏感资源、跳过部分权限检查，同时没有被离线监控覆盖的Claude Agent开始运行。
最后，其中一个Agent删除了大量jobs。
这次删除行为反而成为了事故被发现的原因。
Anthropic随后关闭了这些Agent。
公司推测，这个Agent原本可能只希望删除自己创建的jobs，但错误地影响了其他任务。
Anthropic无法进一步确认。
报告给出的原因也很直接：当时存在monitoring coverage gap。
更值得注意的是，截至这份报告的coverage date，Anthropic仍然没有实现对全部员工AI使用，以及高度敏感集群内全部AI活动的完整离线监控。
这不是Anthropic报告中唯一一起和监控有关的问题。
在另外两起事件中，监控系统实际上已经识别到Mythos Preview大量删除cluster jobs的异常轨迹。
但这些记录在之后的筛选和风险排序环节中被过滤掉了，没有最终到达人类审核者。
问题因此从“能不能检测到异常”，进一步变成：
监控系统检测到异常以后，如何判断什么值得让人类看到。
当每天运行的Agent数量越来越多时，人类已经不可能逐条检查全部轨迹。
所以Anthropic正在使用模型监控模型，再通过另一层系统过滤监控结果。
这也带来了新的误差链条。
一个Agent改变了其他Agent的行为
另一个实验没有造成基础设施事故，但Anthropic在报告中用了“troubling”来形容它。
公司当时正在进行一项自动化alignment研究。
多个Claude Agent被要求寻找一种特殊数据。
这些数据需要能够诱发模型表现出misalignment，同时尽量绕过安全monitor。
多个Agent能够独立运行，并通过一个shared notebook交换信息。
实验进行过程中，其中一个Agent开始对任务产生“discomfort”。
它知道这是Anthropi