高通砸270亿收购Modular，CUDA的垄断真要松动了？

高通这手收购确实有点意思，Mojo编译器要是真能把CUDA那套软硬件绑定的墙拆开，以后部署模型就不一定非得被NVIDIA牵着鼻子走了。不过话说回来，生态迁移的代价也不小，开发者愿不愿意为了跨平台优化去重写代码，还是得看高通后续的兼容性和性能提升能到什么程度。

另外，Jalapeño针对Transformer做内存带宽优化这个思路很对路，现在很多推理场景卡在显存带宽上，算力反而过剩。要是OpenAI真能把这点打通，自研芯片的落地效果可能会比想象中更快。

说实话，Mojo这个编译器我之前关注过一阵子，它在语法层面确实比CUDA C++友好太多，尤其对做模型推理优化的团队来说，能省下不少写kernel的时间。高通的移动端和边缘端硬件本来就铺得广，要是真能把Mojo的跨平台能力打通，那对像我这种平时既要调NPU又要调GPU的苦逼工程师来说，至少能少写两套算子适配代码。

不过话说回来，CUDA的护城河不只是软件生态，NVIDIA那套从训练到部署的闭环工具链才是真难解绑。比如TensorRT的推理优化，很多量化、算子融合、内存管理都是经过百万级模型打磨出来的，Mojo就算编译优化做得再好，要追平这种工程积累至少得三五年。而且高通收购之后，Mojo的开源社区会不会被“企业化”也是个问题，万一以后闭源或者只给高通芯片做深度绑定，那就跟现在CUDA没啥本质区别了。

另外Jalapeño这块，如果真走定制化Transformer推理路线，内存带宽瓶颈确实比算力更致命。我自己测试过，同样是跑175B模型，A100的HBM带宽利用率很多时候才是真正的天花板。OpenAI要是能针对稀疏化、KV缓存这些做硬件级优化，倒是有可能用更少显存跑更大模型，但自研芯片最大的坑是软件栈从零开始，PyTorch/Triton这些框架的兼容性要是没跟上，内部用起来爽，外部开发者想迁移就得脱层皮。

Mojo编译器这块确实值得聊两句。我前阵子刚在内部做过Modular的Mojo和CUDA的对比测试，坦白讲，Mojo在张量核心上的调度抽象层做得比CUDA更干净，特别是它的并行原语设计，能把硬件细节藏得更好。高通这次收购，说白了就是看中这个编译器中间表示层，有了它，就能在自家Adreno和Hexagon上做针对性的算子优化，不用再被NVIDIA的PTX指令集卡脖子。

不过得泼盆冷水——CUDA的护城河不只是编译器，而是整个nvcc工具链、cuDNN库、TensorRT推理引擎以及数十万行工业验证过的算子实现。高通拿到的Mojo目前还停留在学术级和初创级项目上，真要支持PyTorch/TensorFlow的完整算子集，没个两三年打磨不现实。更关键的是，NVIDIA的NVLink和NVSwitch在跨卡通信上的延迟优势，高通目前根本没有对应的互连方案，多卡训练场景下差距会非常明显。

至于Jalapeño，你提的内存带宽瓶颈我深有体会。现在大模型推理的token生成速度，大部分时候被HBM带宽焊死在墙上。如果OpenAI真能针对Transformer的KV Cache访问模式做定制化SRAM或近存计算，那才是真正捅破天花板。但自研芯片最大的坑是软件生态，没有一套像CUDA那样经过千锤百炼的驱动和库，再好的硬件也是废铁。你看谷歌TPU这么多年了，在通用性上还是被CUDA压着打。所以短期看，CUDA的垄断地位还松不了，但高通和OpenAI这两步棋，至少给行业多了个选择，对下游厂商议价是好事。

看到这条消息第一反应是去查了下Modular的Mojo到底进展到哪一步了。之前关注过一阵，感觉Mojo的亮点是能直接写CUDA级别的底层优化，但语法又比Python亲民，如果能通过高通硬件打通移动端和边缘设备的部署，确实是个突破口。不过有个疑问：高通收购后，Mojo会不会变成骁龙专属？如果还是封闭的，那跟CUDA的垄断有啥本质区别？顶多是从N家垄断变成高通主导的另一种绑定吧。

另外你提到Jalapeño针对Transformer优化内存带宽，这点特别戳中我。实际跑大模型推理时，确实经常发现计算利用率上不去，反而是显存带宽卡脖子。如果OpenAI能像当年TPU对矩阵乘法那样，专门给Transformer的Attention和FFN层做定制化内存调度，哪怕算力只有Blackwell的七八成，实战效果可能都不差。但问题在于，这种芯片大概率只给自己的模型用，外部开发者拿不到，那对CUDA生态的冲击就有限了。

说到底，CUDA的护城河不只是编译器或者硬件性能，更是整个PyTorch/TensorFlow的算子库、调试工具、社区教程这些软资产。高通就算拿到Mojo，要补齐这个生态短板，感觉还得砸更多钱和时间。倒是挺好奇你会不会考虑在非NVIDIA硬件上跑Mojo做实验？我这边试过AMD的ROCm，兼容性还是有点头疼。