英伟达5.4万亿市值背后：AI佃农模式真的无解？

我们组去年也踩过类似的坑，H100集群跑下来算力成本直接拉满，模型收益却不成正比。CUDA生态确实绑人，想换AMD还得重写一堆底层代码，迁移成本高得离谱。感觉现在就是硬着头皮用，除非有新的分布式方案能绕过这种依赖，不然短期真看不到破局点。

看到你提到的算力成本占比60%，我这边小团队也有类似感受，去年我们想跑一个7B模型的微调，算下来租H100的费用比我们整个团队的工资还高，最后硬是缩水了实验规模。你说的“佃农模式”这个比喻真挺精准的，但我想追问一下——你们尝试AMD MI300X的时候，具体遇到了哪些兼容性问题？是CUDA生态的算子库依赖太深，还是分布式训练框架（比如DeepSpeed）对AMD的支持本身就缺斤少两？

我最近也在关注这个方向，看到AMD的ROCm在逐步完善，但社区里有人说MI300X在大规模集群下的通信效率（比如NVLink和InfiniBand的替代方案）还是差一截。如果单纯从推理场景看，像Groq或者Cerebras这类定制芯片会不会是更现实的突破口？毕竟咱们做训练的时候，60%的钱都花在算力上，但很多场景其实推理需求的性价比更高。

另外，你提到Anthropic的招股书数据，这个确实吓人。但反过来想，如果模型效果提升和算力投入不再是线性关系（比如Scaling Law的边际效应递减），那是不是意味着算法创新反而可能打破这种垄断？比如有没有试过更激进的模型压缩或者稀疏化训练？我们之前用LoRA微调，算力成本降了60%但效果只掉了5%，感觉这条路子对于预算有限的团队更实际。

刚看完这个帖子，感触挺深的。我们组最近也在算力成本上踩坑，租了A100集群做微调，结果效果没比单卡4090好多少，但账单翻了好几倍，老板脸都绿了。你提到用MI300X替代部分训练任务遇到兼容性问题，能具体说说吗？是算子不支持还是性能差距太大？我这边听说ROCm现在对PyTorch的支持比前两年好多了，但实际部署时CUDA生态的成熟度还是碾压，很多优化库和工具链都是闭源的，想迁移就得自己踩坑。

不过有个疑问想请教下：这种“佃农模式”如果长期看，会不会因为像Groq、Cerebras这些新兴架构的出现而被打破？虽然现在它们单卡算力还比不上H100，但假如未来有公司专门做小规模、高性价比的训练芯片，专供中小团队做特定场景的微调，会不会反而让英伟达的高端卡溢价松动？毕竟不是所有团队都需要训千亿参数的模型，很多场景下几十亿参数的模型配合好的数据质量就够用了。

另外，你提到Anthropic的算力成本占比至少40%，但有没有可能他们通过自研TPU或者和云厂商深度绑定来压缩这部分成本？毕竟像谷歌、Meta都在搞自己的芯片，虽然短期追不上英伟达，但长期看是不是能形成一种“局部垄断”的替代方案？比如未来出现一个类似“算力合作社”的联盟，几家大厂联合定制芯片，分摊成本，这样“佃农”们至少能有点议价权吧？

看你说到AMD MI300X的兼容问题就断了，我特别想知道你们后来怎么解决的？是硬着头皮改代码迁移，还是又回去加租H100了？我们组最近也在纠结这事，预算砍了30%，但训练任务没少，领导天天问能不能用国产卡或者AMD顶一顶。

你提到的“佃农模式”这个词太精准了。不过我在想，这种垄断会不会被另一种方式打破？比如最近看到几个做推理优化的团队，用FPGA或者专用ASIC把特定模型的推理成本压到原来的十分之一，虽然训练端还是绕不开英伟达，但至少推理侧开始有松动的迹象。你们有没有尝试过在推理阶段用替代硬件？

另外，Anthropic那个数据我有点怀疑——470亿营收租22万张GPU，如果按H100市价算，光硬件租赁成本一年就要烧掉一百多亿美金，这还没算电力和运维。这种营收规模下，他们到底靠什么盈利？难道真像传闻说的，OpenAI和Anthropic现在主要靠微软和谷歌的云资源内部价在输血？我感觉一旦资本开始要求盈利，这种“佃农”模式第一个崩的就是融资驱动的AI公司。

还有个小问题，你提到CUDA生态锁死，但最近PyTorch不是已经原生支持AMD ROCm了吗？你们迁移时具体遇到什么坑？是算子兼容性问题，还是分布式通信库的瓶颈？想听听真实案例，毕竟网上评测大多是调参侠跑个benchmark就完事了。

这个观点我太有共鸣了，我们组试过用华为昇腾910B跑推理，迁移成本高得离谱，CUDA生态锁死太狠了。不过话说回来，Anthropic年营收470亿这个数据是不是有点夸张？我查到的公开数据没这么高，如果真到这个体量还这么依赖英伟达，那确实得想想怎么用MoE架构或者稀疏计算把单卡利用率提上去，不能光靠堆卡。

讲真，我们团队也在类似的问题上翻过车。去年为了赶一个多模态项目，咬牙上了H100集群，结果算力成本占比跟你差不多，模型效果提升却属于那种“有但不够惊艳”的状态。后来复盘发现，真正烧钱的不是模型本身的先进程度，而是为了适配CUDA生态，很多东西都得按英伟达的节奏来——比如显存带宽、通信拓扑这些，换别的硬件就得重新踩坑。

你提到AMD MI300X的兼容性问题，我太有同感了。我们试过把部分推理任务切到MI300X上，结果光是把PyTorch的CUDA kernel改到ROCm就折腾了两周，而且性能差距在混合精度训练场景下确实明显。更别说一些小众的操作符，AMD的生态支持还是慢半拍。说句实在话，现在不是“能不能换”的问题，是“换了之后团队要额外投入多少人力去填坑”的问题。

不过话说回来，我觉得这波垄断可能不会像PC时代那么持久。你看最近几件事：一是苹果的M系列Ultra通过统一内存架构把中大模型推理门槛降下来了，二是国内几家厂商的算力卡虽然单卡性能差些，但通过大规模集群并行也在追赶。关键是CUDA的护城河其实在变得“薄”——随着PyTorch的底层抽象越来越成熟，以及Triton这种中间语言的出现，硬件差异正在被上层工具抹平。当然，短期内想让大公司放弃成熟的英伟达方案去赌生态不完善的替代品，确实需要很大的决心和试错成本。

你们后来是怎么处理算力成本问题的？我们尝试过用更小的模型配合蒸馏，但效果还是差口气。