{
title: AMD芯片跑GLM 5.2，推理成本仅为英伟达一半,
summary: 推理优化公司Wafer公布的数据显示，AMD MI355X芯片成功运行最新开源模型GLM 5.2，单节点吞吐达到2626 tok/s，单流吞吐213 tok/s，推理成本仅为英伟达同类方案的一半。这一突破为AI从业者提供了高性价比的替代选择，有望推动开源模型的更广泛应用。,
content: 开源大模型GLM 5.2刚刚发布，就迎来一个重要消息：它可以在AMD芯片上高效运行，而且推理成本仅为英伟达的一半。这组数据来自推理优化公司Wafer，他们用AMD的MI355X芯片成功跑通了GLM 5.2，单节点吞吐量达到2626 tok/s，单流吞吐也稳定在213 tok/s。对于正在为算力成本发愁的AI团队来说，这无疑是一个值得关注的信号。
Wafer的测试结果显示，AMD MI355X在GLM 5.2推理任务中表现出色。单节点吞吐2626 tok/s意味着在批量处理场景下，芯片能够高效应对高并发请求；而单流吞吐213 tok/s则保证了单用户交互的流畅性，延迟控制在实际应用中完全可用。更关键的是，Wafer对比了英伟达同类芯片的成本，发现AMD方案的总拥有成本降低了约50%。这一数据直接回应了行业对AMD生态兼容性和性能的质疑。
这一突破对AI行业的影响是多方面的。首先，它打破了英伟达在AI推理市场的垄断地位，为开发者提供了更灵活的硬件选择。其次，GLM 5.2作为开源模型，其多模态能力和中文优化特性已经吸引了不少企业用户，如今加上AMD的低成本方案，有望进一步推动开源模型在垂直行业的落地。Wafer的优化技术也值得关注，他们通过算子融合和内存管理手段，显著提升了AMD芯片的利用率，让原本被认为弱势的生态表现出了竞争力。
展望未来，AMD在AI推理领域的潜力才刚刚开始释放。随着ROCm软件栈的持续完善，以及更多优化公司加入，AMD芯片有望成为中小企业和创业公司的性价比之选。对于AI从业者来说，现在可以开始关注AMD硬件的兼容性列表，并测试自家模型在MI355X上的表现。毕竟，在算力成本敏感的当下，省下一半的推理费用，可能就是项目从亏损转向盈利的关键。不过，也要保持理性，AMD在训练场景和大规模集群部署上的成熟度仍需时间验证，但至少在推理这个环节，它已经交出了一份令人信服的答卷。
}