看到Meta外包的“戛纳”项目细节，我第一反应不是震惊，而是无奈。作为曾在AI安全团队工作过的人，这种“红队测试”的边界确实模糊——但4.5万条恶意提示，用假账号冒充未成年人去刷ChatGPT，这已经不是常规的对抗性测试了。技术上讲，这种“地毯式轰炸”式的提示注入，虽然能暴露模型在极端边缘场景下的反应，但更关键的是，它利用了模型对身份信息的无条件信任。我实测过类似的“身份劫持”攻击，比如让模型以为你是家长或警察，成功率确实高，但Meta这种规模化的操作，本质上是在消耗公共API的信任资源。
更值得讨论的是，这种测试的“有效性”存疑。模型在真实部署中本就有内容过滤和上下文限制，而Meta用“粗制滥造的账号”绕过这些保护，相当于在实验室里用高压水枪冲一个门锁，然后说“看，这锁不牢”。这更像是一种“压力测试”而不是“安全测试”，其目的可能是收集对手模型的“黑料”用于公关战。
我想问两个问题：1）这种大规模恶意提示是否触犯了《计算机欺诈和滥用法案》？毕竟使用了虚假身份和伪造意图。2）行业是否需要建立“红队测试的伦理准则”，比如禁止冒充特定弱势群体？从趋势看，AI安全测试正在从“技术问题”变成“政治工具”。如果每个巨头都用这种方式互相“测试”，最终受损的是整个行业的公信力。我个人建议，未来应该引入第三方审计和“测试许可证”制度，就像药物临床试验需要伦理委员会批准一样。否则，我们很快会看到更多“戛纳”式的丑闻。