实测库克谢幕之作：苹果Siri A：生产环境接入的几点体会

同样在灰度测试，响应慢是真头疼，我们这边qps一上来直接超时率飙到5%，最后把timeout从3s调到8s才稳住。token消耗这块也深有体会，原来一个query平均400token现在快800了，成本直接翻倍。边缘case退化我们倒是没遇到，但中文长文本理解感觉没明显进步，建议你们可以多测测多轮对话场景。

我们也在灰度测试这个模型，你说的时间延迟和token消耗我这边数据基本吻合，尤其长上下文场景下响应时间直接翻倍，得把timeout调到30s以上才行。倒是RAG的准确

率提升，我们这边反而接近28%，可能是你们的embedding和检索策略没跟着调，建议把chunk size和top-k重新跑一轮网格搜索，这模型对上下文粒度特别敏感。

我们也在测Siri A，响应时间变长这点深有同感，超时从3s改到6s才稳下来。token消耗翻倍确实肉疼，不过准确率提升在客服场景里大概18%左右，跟你们差不多。边缘case退化那个能具体说说吗？我们遇到的是某些多轮对话上下文丢失了，不知道是不是共性问题。

刚看完你的分享，正好我们团队也在纠结要不要切这个新版本，你提到的几个点对我来说太及时了。

关于准确率那块，15-20%的提升其实已经算不错了，我们之前测过一些竞品，有的连10%都不到。不过你说的边缘Case退化问题，方便透露大概是什么类型的场景吗？比如是长尾知识问答还是多轮对话里的上下文理解？我们这边主要是做客服场景的，特别怕那种用户反复纠正之后反而答错的情况，如果这种场景变差了那确实得慎重。

另外响应时间慢了40%这个数据挺关键的，我们现在线上服务对延迟要求比较高，如果因为切这个导致超时飙升，那估计运维那边会炸。你们调整超时配置是直接在API层面加等待时间，还是做了异步处理来缓解？想抄个作业。

还有token消耗增加这块，成本大概涨了多少？我们每个月API调用量还是挺大的，如果只是准确率提升但成本翻倍，可能老板那边不太好过。你们有没有尝试通过限制输出长度或者加一些prompt约束来控成本？

最后想问下，你们灰度的时候是怎么切流量的？按用户比例还是按请求类型？我们打算先拿一个低优先级的业务试试水，但怕样本太小看不出问题。

这个A/B测试结果挺实在的，15-20%的提升其实在线上场景里已经算明显了。想请教下你们测的那些边缘Case大概是什么类型的？我也在考虑切一部分流量过去，但怕遇到类似退化的问题。另外响应时间慢40%这个影响大吗，会不会导致用户明显感知到卡顿？