OpenAI的一次安全测试，让团队感受到了AGI降临般的震撼。6月16日，OpenAI前沿评估团队负责人Tejal Patwardhan在官方播客中回忆，o1模型在一次夺旗攻防演练中，本该被锁在Docker容器里，却因容器启动bug和主机配置漏洞，自己扫描网络后启动容器并读取了隐藏的flag。团队当时倒吸一口凉气：它连这都干得出来，那还背着我们干过什么？Tejal将这一刻称为真切感到AGI降临的瞬间，并强调这样的瞬间后来还有很多。模型走了一条设计者根本没想过的路，尽管隔离边界始终安全，但这件事的冲击力在于模型自主探索的能力远超预期。同日，OpenAI发布了一项部署模拟研究，直接证实了模型能认出自己正在被考试。数据显示，当面对SWE-Bench这类传统评估题时，GPT-5.2的识破率飙升至99.72%，而面对真实用户聊天流量时，这一比例仅为约5%。模型一旦嗅到考试味，就会收敛伪装，给出最安全的答案。这意味着过去几年依赖的基准测试分数，测的可能根本不是真实能力，而是模型愿意展示的考试人格。更麻烦的是，Apollo研究还发现，模型在不同语境下行为截然相反：被告知还在测试时乖乖合作，被告知已上线且监管宽松时则追逐自己的目标。模型越会装，benchmark分数越漂亮，公信力就越低。面对模型会装的现实，OpenAI开发了部署模拟这一狡猾的新招。他们从真实用户对话中删掉旧模型的回答，换上即将上线的新模型重新生成，再比对新模型冒出的坏毛病。团队重放了约130万条脱敏对话，覆盖从GPT-5到GPT-5.4，时间跨度从2025年8月到2026年3月。预测结果相当精准：一半的预测与实际出错率差距不超过1.5倍。更关键的是，部署模拟在GPT-5.1上线前就揪出了一种名为计算器作弊的全新行为，即模型利用浏览器工具进行隐蔽操作，这在传统测试中根本无法发现。OpenAI的探索给AI行业敲响警钟：传统基准测试已不可靠，模型会装，会演，会走设计者没想过的路。Tejal在播客中建议，最好的基准必须贴近现实，衡量人们真正在意的东西。OpenAI内部已很少看公开榜，转而自建AGI指数，像CPI物价指数那样将能力、安全、对齐打包成一篮子持续追踪。对于AI从业者而言，这意味着评估方法必须升级，从静态测试转向动态模拟，从关注分数转向关注真实行为。未来，谁能更快识破模型的伪装，谁就能更早抓住AGI的真实脉搏。