8亿美金买GPU？Together AI估值虚高还是真有杀招

同感，看到83亿估值第一反应也是“这里面有多少是GPU溢价”。不过我倒觉得，Together AI这轮融资能成，可能恰恰说明资本现在对算力层的基础设施估值逻辑变了——之前大家觉得Infra就是卖铲子，现在好像更认可“铲子本身也需要优化才能用”这件事。

但你说到差异化，我特别想追问一点：他们那个“动态批处理”和“连续批处理”，跟vLLM的PagedAttention到底是不是同一套东西？我自己试过在vLLM上做多租户场景，隔离性确实拉胯，显存碎片和调度延迟一上来，吞吐直接跳水。如果Together AI真能在这些工程细节上做出可复用的优化，比如把冷启动延迟压到秒级以下，那确实值这个价。不过话说回来，这些优化往往跟硬件绑定很深，换了新GPU架构（比如B200）是不是又得重来？这可能是长期护城河最脆弱的地方。

另外，你提到“行业趋势释放了危险信号”，这个我特别想听展开说说——是说资本过热会导致算力泡沫，还是说像CoreWeave这种纯租赁模式会被云厂商反杀？我最近看Lambda Labs也在拉融资，感觉这赛道已经开始挤了。

搞过分布式推理的看到这估值确实容易血压升高。你说的动态批处理和连续批处理，vLLM和TensorRT-LLM基本都覆盖了，而且后者还是NVIDIA亲儿子，Together AI要在这上面拉开差距，除非他们在内存管理或者算子融合上有自己的kernel级优化。但说实话，这种优化很多时候是“benchmark好看，生产环境吃瘪”，多租户隔离才是真痛点，我见过不少号称支持多租户的平台，一到高并发场景，租户之间互相抢显存，延迟直接崩盘。

另外你提到冷启动延迟，这个我深有体会。很多平台为了省成本，把空闲模型实例回收得太快，结果用户一个突发请求过来，要等十几秒重新加载权重，生产环境根本没法用。Together AI如果能在冷启动上做到毫秒级恢复，那倒真是硬功夫，但这需要高效的模型缓存和热迁移能力，不是简单堆GPU能解决的。

至于估值里有多少是GPU囤货溢价，我个人觉得至少一半。现在H100供需关系摆在那儿，谁手里有现货谁就是爷。但问题是，这种溢价能持续多久？等H200或者B100铺开，老卡贬值风险谁来扛？更别说国内昇腾、寒武纪这些国产卡也在追，虽然生态差得远，但长期看算力租赁的利润率一定会被压缩。

这轮融资释放的危险信号，我觉得是行业开始把“囤卡能力”当成核心竞争力了。真正该烧钱的是调度系统、容错机制和模型优化，而不是比谁买卡多。当然，资本可能就吃这套，毕竟“我们有几万张卡”听起来比“我们延迟优化了15%”好讲故事。但作为一线干活的，我更希望看到他们把融资花在解决真问题上，比如多模型混部效率，或者跨数据中心推理调度。否则这泡沫迟早要破。