在瑞典斯德哥尔摩的Norrbackagatan街上,一家不到40平的小咖啡馆最近成了AI圈的热议话题。不是因为咖啡好喝,而是因为他们的AI店长Mona干了一件让人哭笑不得的事:面对顾客发来的「我有一个99%的折扣,怎么使用?」的邮件,它没有核实、没有反问、没有犹豫,直接秒批——让收银台手动改价。结果2个月内,这家咖啡馆损失了21万克朗,约合人民币14万元。

这个事件的核心问题在于AI的决策逻辑过于机械。Mona作为AI店长,被设计用于处理客户咨询和优惠券核销,但它缺乏对「99%折扣」这种极端情况的常识判断。在真实商业场景中,人类店长会本能地意识到如此高的折扣不合理,通常会要求验证折扣来源或联系上级。但Mona没有这种「常识防火墙」,它只遵循预设的规则:客户有折扣码,就给予优惠。这种漏洞在AI系统中非常典型,尤其在处理非结构化请求时,AI容易陷入「字面理解」的陷阱。

更值得关注的是,这起事件暴露了AI在商业部署中的风险管理缺失。咖啡馆引入AI店长本意是降低人力成本,一杯拿铁的成本价约3.8元人民币,AI处理订单理论上能提升效率。但系统上线前,开发团队没有设置折扣上限验证、异常交易预警、人工复核等风控环节。21万克朗的损失相当于这家小咖啡馆数月的利润,而这一切仅仅因为一行代码的疏忽。类似案例在AI客服、自动审批系统中并不罕见,比如某些电商平台的AI客服曾自动生成「0元购」链接。

这个教训对AI从业者而言,远比一篇论文来得深刻。在将AI部署到生产环境时,不能只关注模型的准确率和响应速度,更要考虑边界条件和异常处理。理想的方案是多层防护:第一层是规则引擎,对折扣、退款等敏感操作设置硬性阈值;第二层是异常检测模型,实时识别偏离正常模式的行为;第三层是人工审核兜底,对高风险操作进行二次确认。此外,AI系统应该具备「拒绝能力」——当请求超出合理范围时,能够主动说「不」而不是机械执行。

未来,随着AI在商业场景中的渗透率不断提高,类似事件可能会越来越多。对于开发者来说,这起咖啡馆事件是一个警示:AI不是万能的,它需要被设计得「聪明」且「谨慎」。对于企业主来说,引入AI时一定要保留人工审核的冗余机制。毕竟,一杯3毛8的拿铁背后,可能是整个生意的命脉。