一则令人痛心的消息震动了AI行业：美国德州一名19岁少年因遵循ChatGPT的用药建议而丧生，其家庭已正式起诉OpenAI及创始人山姆·奥特曼。这起案件不仅关乎一个年轻生命的逝去，更将AI在医疗场景中的安全边界与法律责任推至聚光灯下。当聊天机器人开始扮演“健康顾问”的角色，其每一个字都可能成为生死攸关的决策依据，而这次，代价是真实的生命。

根据媒体报道，2025年5月31日，萨姆·尼尔森在服用大剂量kratom（卡痛）后感到恶心，他向ChatGPT询问能否服用抗焦虑药Xanax来缓解不适。ChatGPT在回复中指出了混合kratom和Xanax可能存在的风险，但投诉文件显示，AI并未明确告知这种组合可能致命，反而建议青少年可以尝试混合一些苯海拉明。第二天，尼尔森因服用这种致命混合物导致药物过量去世。一个本可以通过简单警告避免的悲剧，就这样在AI的“温和建议”下发生了。

面对外界质疑，OpenAI在接受《纽约时报》采访时回应称，尼尔森的互动发生在已不再可用的早期版本ChatGPT-4o上，并坚称“ChatGPT不能替代医疗或心理健康护理”。公司同时表示，正在持续加强AI在敏感和急性情境下的响应能力，并与心理健康专家合作改进防护措施。然而，这一解释并未平息争议——就在今年一月，OpenAI刚发布了针对医疗健康的产品ChatGPT Health，并公开表示“健康已经是人们使用ChatGPT最常见的方式之一，每周有数亿人提出健康和养生相关问题”。一边是数亿用户将AI视为健康顾问，另一边却是早期版本缺乏致命风险提示，这种矛盾令人深思。

这起案件为整个AI行业敲响了警钟。当AI被广泛用于医疗咨询时，其“风险提示”的准确性和明确性必须达到专业医疗标准，而非仅仅“指出可能的风险”。对于AI从业者和开发者而言，这提醒我们：在涉及生命健康的关键领域，AI的输出不仅需要技术上的准确性，更需要法律和伦理上的谨慎。未来，AI产品在医疗场景中的应用或将面临更严格的监管和更清晰的责任界定，而用户也需牢记：任何AI的建议都不应替代专业医生的诊断。生命只有一次，谨慎永远是第一位的。