OpenAI宣战了!
就在今天凌晨,OpenAI发布了一份重磅宣言——《打击对抗性蒸馏》。

这份报告,表面上是技术分享,实际上简直是一篇宣战书。
OpenAI毫不掩饰地挑明:今天夏天以来,为了打击白嫖的账号,我们一周最多封几万个号,甚至直接按网络连锅端!
现在,OpenAI已经呼吁美国国会出台法案,加强出口管制。
在报告中,OpenAI也全面曝光了,自家的系统究竟是如何识别、瓦解那些协同蒸馏攻击的。
准备好,接下来,OpenAI还会有一大波封号潮。
每周数万账号灰飞烟灭
这一次,OpenAI 动真格了。
OpenAI自曝:今年以来,ChatGPT发起多次大规模封号活动。
他们发现,「偷师者」往往会通过海量账号矩阵、分布式请求,来拼凑模型的底层逻辑。
对此,OpenAI毫不手软,一旦抓到,会把整个账号网络一锅端!
这些「协同作案」的账号群,OpenAI每周能封上几千,甚至几万个!
尤其今年夏天,封号率明显飙升。
他们的目标,就是让偷师者拿到的料更少、成本更高、速度更慢。
请注意两个关键词:「整个账号网络」与「数万个账号」。
也就是说,只要你的账号矩阵中有一个节点暴露,与之关联的其他账号也会被「连坐」,数据全部化为乌有。

OpenAI表示,蒸馏这个大家心照不宣的灰色地带行为,绝不是简单的侵权而已,而是会导致严重的安全危机!
因为在蒸馏的过程中,模型强大的能力被抄走,OpenAI耗巨资打造的安全护栏,却没了。
原本有着护栏的模型,绝不会帮忙写木马病毒、提供生化武器配方。
但当它被蒸馏到没有底线的开源模型中,就会成为黑客和恐怖分子的武器。
为此,OpenAI才展开了那一场残酷的大清洗。
在内部测试中,OpenAI 派出了 6 个 AI 攻击模型。
它们会轮番使用各种刁钻的黑盒攻击,从防御系统那里「套话」。
而防守方(比如 GPT-6.2 系列)需要自己判断:你这个问题,是在正常问我,还是在恶意白嫖我的思路?
核心机密「思维链」,必须死守
如果你现在去调用 OpenAI 的 API,只能看到它想让你看到的东西——摘要。
偷师者们最眼红的,是CoT。这些未加掩饰的、最原始的思维链里,藏着答案里没写出来的高阶逻辑和泛化能力,可以说是最宝贵的财富。
但现在,真实的CoT已经被OpenAI藏起来了。
为了证明这一点,OpenAI做了个对照实验。
他们用同一个「学生模型」的基础底座,分别让它们学习两种数据。
其中,A组学习的是原始的、完整的「精确推理痕迹」。
B组学习的是用户平时在前端能看到的「推理摘要」和最终答案。
结果令人果然不出所料。
在经过了包含Astra级别教师模型轨迹的监督微调(SFT)之后,学了原始思维链的A组,在网络安全基准测试上的得分普遍碾压了B组!


而当两组模型都再经过一轮轻量级的强化学习后,在给予最大推理算力预算时,A组依然保持领先。仅仅在算力预算较小的时候,B组才勉强反超。
这个实验证实:精确的推理痕迹,能够教会学生模型「举一反三」的能力!
哪怕提取的数据仅仅用于合规的防御性任务,学生模型也能从中领悟出,适用于攻击性任务的通用技能。
可以说,前沿模型的底牌,就在于它解题时那「脑海中的一念」。
无论如何,OpenAI都要把这个东西上锁。
OpenAI布下四层反蒸馏防线
所以,OpenAI具体是怎么做的?
在报告中,他们首次公开了「反蒸馏之术」。
这是一套将对抗性测试、模型训练、分类器和API级别保护相结合的四层网络,OpenAI进行了深度的架构改造。

第一层:从模型训练底层「防偷师」
OpenAI通过对抗性训练,让模型自己学会识别出,哪些请求是在试图「提取推理过程」。
一旦识别出恶意的请求,模型会果断拒绝披露CoT。
但是呢,它同时又能精准区别出正常用户的请求。
为什么它能做出精准区分?
因为它的训练数据,来源于内部红蓝对抗和外部安全研究人员的攻击日志。
第二层:密不透风的分类器
此外,OpenAI还部署了异常强大的「输出分类器」。
最绝的是,他们连工具调用也没放过。
这是因为,模型有时会把推理过程偷偷写在工具调用的参数里,而不在最终答案中显示。
而输出分类器,可以直接将这些拦截!
第三层:让开发者心跳加速的 API 级封锁
这是对整个开发者生态最致命的一招。
在最新发布的 GPT-6.2 Astra 和 GPT-6.2 Sol 中,OpenAI 将模型的推理过程与产生它的「对话历史」进行了硬绑定。
如果你试图修改前面的一句提示词,想看看模型怎么改变思路,抱歉,API 会直接把后面的所有推理过程作废!
因此,靠微调上下文来反复挤牙膏的套路,彻底失效了。
第四层:跨模型与跨会话隔离
具体来说,就是防护弱的老模型,被严禁去读取新模型的推理记录。
同时,OpenAI 在 9 月份还刚刚堵住了一个大漏洞——
以前,黑客会把一段加密的思维链强行搬进另一个新对话,哄骗模型自己把加密内容「念出来」,甚至能露出别人的加密推理。
现在,这条路也被堵上了。
在对抗 6 个 AI 模型的轮番轰炸下,他们交出了一份可怕的成绩单。
在模拟真实生产环境的测试中,当攻击模型试图去套取「上一轮对话」的受保护推理时,旧防线下的 GPT-6 Astra 被攻破的平均成功率为 54.0%。
但在更新了新防线的 GPT-6.2 Astra 面前,这个数字被压制到了惊人的 0.2%!
而试图套取「本轮对话」受保护推理的成功率,也从 22.9% 骤降至 0.9%。
目前,GPT-6.2 Sol 也已经全量上线了这套防护,旧版的 GPT-6 Astra 也正在紧急打补丁。

对于被抓到的攻击手段,OpenAI 还会将其转化为回归测试,重新喂给模型训练。
甚至,他们准备将这套秘籍分享给其他公司,全行业联动封杀。
而且,这还没完——OpenAI预告:「很快,我们会分享出更多破坏行动的细节。」
或许,会有更多公司被挂在名单上。
最后,OpenAI 公开向美国政府喊话,表态全力支持三大法案:
《芯片安全法案》
《人工智能监管法案》
《MATCH法案》
一方面,OpenAI想通过硬件出口管制,限制对手获得前沿模型所需的芯片。
一方面,他们要用「反蒸馏防御」,让对手无法调用已有模型「偷师」。
看来,是时候从底层算法和创新上杀出一条血路了。
参考资料:
https://openai.com/index/combatting-adversarial-distillation/
文章来自于微信公众号 “新智元”,作者 “新智元”