最近几家机构发布的新一代大模型在MMLU、HumanEval等基准上确实涨了10-15%，表面看是架构优化（比如MoE和注意力机制的改进），但实际落地时我发现一个关键点：这种提升在长上下文场景下并不稳定。比如在128K token的RAG任务中，某些模型的首token延迟反而增加了30%，原因是KV cache管理没跟上。从个人经验看，单纯追求benchmark分数容易忽视工程上的trade-off。

我的观点是：性能提升固然重要，但模型推理的性价比才是决定能否大规模部署的核心。比如量化（INT4）后的精度损失在1%以内，但吞吐量能翻倍，这比单纯刷榜更有实际意义。

讨论两个问题：1）大家在实际项目中，是优先选高精度大模型还是更看重推理速度？2）对于长上下文场景，有没有好的KV cache压缩方案推荐？

行业趋势上，我认为未来竞争会从‘谁更聪明’转向‘谁更省电、更快’。开源社区和云厂商的差距可能因此拉开，毕竟推理成本直接决定了应用边界。