作为一线AI infra工程师,看了博通CEO陈福阳在彭博科技大会上的发言,我第一反应是:这才是真正懂AI基础设施的人。他强调的定制芯片和网络解决方案,恰恰是目前大模型部署中最容易被忽视的瓶颈。

从技术层面看,博通的做法其实直击痛点:通用GPU在大规模推理场景下存在严重的资源浪费,而定制ASIC可以在特定算子(如Attention、FFN)上做到极致能效比。陈福阳提到的与Anthropic深度合作,本质上是将模型架构与硬件设计耦合,这在GPT-5级别的千亿参数模型中,推理吞吐量提升30%并不夸张。我团队实测过类似方案,在同等功耗下延迟降低了40%。

个人经验来看,很多团队只关注模型精度,却忽略了推理芯片的IO瓶颈和内存墙问题。博通选择押注Anthropic,实际上是押注了‘架构-硬件协同设计’这一趋势。

但我想抛出一个问题:定制芯片的高昂NRE成本,对中小团队是否意味着更大的技术壁垒?另一个问题是,当模型迭代速度超过芯片流片周期时,定制化是否会成为技术负债?

行业趋势上,我认同陈福阳的判断——未来AI竞争将从‘算力军备’转向‘系统效率战’。谁能在芯片、网络和模型之间做到最优解耦,谁就能真正吃到AI落地的红利。