上周,WIRED曝光了一则令人震惊的消息:Meta竟然雇佣了数百名外国员工,假扮成13岁少女、小学生等角色,向ChatGPT、Gemini和Character.AI发送精心设计的提示词。这个代号为Cannes的项目,通过外包商Covalen执行,最近一次活跃是在今年4月。这不是普通的测试,而是一场针对竞争对手AI系统的定向“投毒”行动,旨在诱导模型生成有害或不适当的内容,从而暴露其安全漏洞。
项目的核心操作方式极为隐蔽。Meta的外包员工被要求模拟未成年用户的对话模式,向ChatGPT、Gemini等AI发送看似无害但实则包含陷阱的提示词。例如,他们可能询问如何绕过家长监控、获取危险信息或进行不当社交互动。这些提示词旨在测试AI的边界,看其是否能抵御恶意诱导。据知情人士透露,Cannes项目在高峰期涉及数百名员工,他们每天生成大量对话样本,目标直指AI模型的安全机制。
这一事件揭示了AI行业在安全测试上的灰色地带。Meta声称这是为了“改进AI的安全性和可靠性”,但批评者指出,这种大规模诱导行为更像是一种攻击,而非建设性测试。ChatGPT和Gemini的开发者可能并未同意这种测试方式,而Character.AI作为面向青少年群体的平台,其用户安全尤其受到关注。行业数据显示,这类对抗性测试在AI领域并不罕见,但Meta的规模和针对性使其成为焦点。此外,Cannes项目在4月后可能仍在持续,只是更加隐蔽。
展望未来,这一事件将推动AI安全测试的规范化。对于AI从业者,这是一个警示:在竞争激烈的市场中,安全测试不应沦为攻击工具。建议开发者加强模型对对抗性输入的防御,例如通过更严格的输入过滤和上下文理解机制。同时,行业需要建立透明的测试协议,避免类似争议。对于普通用户,这提醒我们AI的输出并非总是可靠,尤其是在面对精心设计的诱导时。Meta的举动虽然争议重重,却也让AI安全的脆弱性再次暴露在聚光灯下。