Google 在 11 月 9 日又往第八代 TPU 产品线里塞了两款系统,让这个家族在一年内凑齐了四款。放在 AI 芯片疯狂内卷的背景下,有意思的不是「又出了新芯片」,而是 Google 把四款系统明确地按「代理生命周期」的不同阶段分了工。
发生了什么
先下判断:这不是两款孤立的新品,而是第八代 TPU 从「训练、推理两款」扩成「按工作负载四款」的一次定档。
四款各自的定位是:8t 做规模训练,8i 做低延迟推理,8tx 做机密计算,8i Max 做大上下文与高密度。作者 Amin Vahdat 的说法是,四款系统为代理生命周期的每个阶段提供专用加速器。这个「围绕芯片构建计算机」的系统级思路,让它能在不换芯片的前提下,靠封装、内存、光网络和安全的组合快速出新系统——新芯片要设计制造好几年,新系统几个月就能交付。
8tx:机密计算
8tx 是第三款系统,面向受监管的企业和政府——那些要跑前沿或专有模型、又处理最敏感数据的场景。它和 8t 用的是同一块硅片,搭配第五代 AMD EPYC CPU 主机,差别在安全:把机密计算下沉到硬件层,让敏感数据和模型权重在处理过程中也保持受保护和隔离,不必像传统做法那样在内存里「解锁」再算。这意味着私有微调、蒸馏、强化学习训练代理这类活,可以在一套系统上完成,不用把敏感数据在集群之间搬来搬去。性能上官方给的是:相比 8t,延迟降低最高 2 倍,性能损失接近零,走的是和实时推理相同的低延迟 Boardfly 网络。
8i Max:攻内存墙
8i Max 是第四款,针对的是「内存墙」——当几十个 AI 代理同时处理整个代码库或数小时视频时,内存带宽成了瓶颈。它的解法很直接:把两颗低延迟的 8i 芯片封装到同一个封装里,于是算力、SRAM、HBM 带宽都翻倍,在现有相同的机架占位内容纳两倍的硅。结果是每平方英尺、每瓦能塞进更多算力,面向百万级 token 的超长上下文和多代理工作负载。原文没给具体的 token 数,只以「million-token context」泛指这个目标场景。
关键事实清单
逐个核对原文数字:
- 四款分工:8t 训练、8i 推理、8tx 机密计算、8i Max 大上下文/最高密度。
- 8tx 与 8t 同硅片,配第五代 AMD EPYC CPU 主机,硬件级机密计算。
- 8tx 相比 8t 延迟降最高 2 倍、性能损失接近零,走低延迟 Boardfly 网络。
- 8i Max 双 8i 芯片封装,算力/SRAM/HBM 带宽均为 8i 两倍,同机架两倍硅。
- 上一代对比:8t 训练性能提升最高 2.7 倍,8i 推理价格性能提升 80%。
- 规模:首次一年内推出四款 TPU 系统;TPU 业务现有近 100 家客户。
- 设计:与 Google DeepMind 联合,用 AlphaChip 和 Gemini 加速布局,芯片布局从数周缩到数小时。
配套软件生态
同一天还放了一批软件,指向同一个「让 TPU 更好用」的方向。TorchTPU 上月已开源,让 PyTorch 代码和 Hugging Face 模型原生跑在 TPU 上,支持 vLLM、SGLang;TPU Agent Suite 预览版接入 Claude Code、Cursor、Google Antigravity,几分钟完成 TPU 接入;XLA Serving Engine 新开源,Python 训练、C++ 低延迟服务,跨 TPU/GPU/CPU;Agent Compute Engine 让代理空闲时毫秒级挂起会话、从芯片卸载工作内存;TPU Sync 开源,把 KV 传输延迟和首 token 时间(TTFT)削减超过 90%;Cloud Pathways 和 GKE 动态切片正式可用,后者把作业启动时间最多缩短 5 倍。
对开发者意味着什么
信号有三层。一是「专用加速器」成为主流思路——别再用一块通用卡硬扛所有负载,按工作负载选硬件。二是机密计算被提到与训练、推理并列的位置,说明数据安全正在成为 AI 基建的一等公民,尤其对受监管行业。三是软件生态的补齐比硬件更值得关注:TorchTPU、TPU Agent Suite 这些,是在降低「从 CUDA 迁移到 TPU」的门槛。对开发者,8tx 和 8i Max 未必是你现在就能摸到的东西,但它们划出的方向——机密计算、大上下文、专用分工——会顺着云服务一层层传导到你能用的产品上。