十年前，这是一家没人看好的公司。从成立第一天起，它就只想做一种从来没有被造出来过的芯片。它试图挑战英伟达的霸主地位，却在成立之初屡屡碰壁，多次濒临倒闭。
十年磨一剑。今年5月，Cerebras终于上市了，市值一度接近千亿美元。CEO Andrew Feldman说：我们愿意和每一家hyperscaler（超大规模云厂商）合作，提升AI推理速度，除了英伟达。
我们有幸采访了Cerebras的早期投资人，和最早证明Cerebras产品可以落地的研究人员，还与Cerebras内部负责产品的高管讨论了近两年公司的转型，以及IPO之后的动作。串起这些蛛丝马迹后，我们很惊讶地发现：要理解Cerebras上市的辉煌，需要回到10年前。
回到一块白板，一家快要倒闭的创业公司，一场几乎没有人相信的物理学赌局，还有一个拥有当时全球最大语言模型的AI实验室，如何在一个不可能的时间节点，成为这个故事里最关键的那一页。
以下，就是Cerebras的故事。
本文为视频改写，欢迎大家收看以下视频
2014年，吴恩达离开斯坦福AI实验室，加入百度。
受到Google Brain的启发，百度投入3亿美元，成立了位于硅谷的AI实验室。他们最主要的目的是：让深度学习发挥商业价值。对于当时的互联网公司来说，深度学习的应用大多在物理层面：自动驾驶、机器人、语音识别。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
我当时会这么兴奋是因为在英伟达的时候，我就在想，我们应该把整个CUDA的路线图都转向深度学习，因为AI终于开始真正起作用了。一开始，这主要是在视觉任务上被证明的，比如图像识别。但后来，Andrew（吴恩达）加入百度之后，我们开始重新思考这个问题。他的想法是：我们应该做一些真正有产品影响力的东西，做一些人们真的会使用的东西。所以我们才从语音开始。因为语音的用户规模，比图像搜索要大得多。
Greg Diamos，在独家采访中告诉我们，当年，吴恩达给百度带来了一批顶尖的AI研究员，Greg就是其中之一。在此之前，Greg在英伟达构建CUDA软件架构：而当时的CUDA，还是一个无人问津的内部项目。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
那时候，CUDA差不多就是个笑话，没有人用它。
AI实验室成立后不久，百度团队就发表了一篇知名的论文《Deep Speech》：一个端到端的语音识别模型，允许人们点击麦克风标志，对搜索引擎说话。他们还训练了世界上最初的几个深度神经网络，下一步的计划，是训练语言模型（language model）。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
我们当时有一个疯狂的卷发研究员，叫Dario Amodei。我们一起研究语言模型，也研究如何扩大语言模型的规模。那段时间，我们拥有世界上最大的、用于深度学习的CUDA集群，这后来也挺有名的。
百度团队研究的语言模型，在当年是全球最大的：拥有3亿参数。训练这个模型，需要三个月的时间。在这个过程中，他们发现了一个规律：模型越大、数据越多、算力越强，模型就越聪明。而且这个提升是可以预测的，是线性的。
这个规律被称为Scaling Law（规模定律）。几年后，这个经过验证的结果被百度团队写进了一篇论文，题为《Deep Learning Scaling is Predictable, Empirically》。Dario Amodei后来将这个发现带去了OpenAI，它成为了GPT的核心逻辑。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
我第一次看到这个规律的时候，就觉得这是通向智能的道路。我当时简直不敢相信，智能居然有路可达。你想象一下，像我这一代学计算机的人，一直被教育说：计算机科学里的进步都非常困难，每一点提升都来之不易。有些问题几乎是碰不得的，比如语音、语言、视觉这些问题，都非常非常难。但这个东西，就是能跑通。而且它很简单。你需要做的，只是训练一个更大的语言模型。
但问题也随之而来：如果Scaling Law是对的，那么训练未来真正有用的模型，所需要的算力将是现有GPU集群完全无法提供的量级。百度的研究员们意识到，他们需要一种新的硬件。
在百度团队发现Scaling Law的同一年，五个硅谷工程师决定离开AMD。在此之前，他们在一家叫做SeaMicro的微服务器硬件公司共事，这家公司在2012年被AMD以3.34亿美元收购。这五个人的名字是：Andrew Feldman、Gary Lauterbach、Michael James、Sean Lie和J-P Fricker。其中，Andrew和Gary是SeaMicro的联合创始人。
第一次聚在一起的时候，五个人在一块白板上写下了他们的愿望：他们希望，硅谷的计算机历史博物馆里有一天会出现他们的名字。从第一天起，Cerebras的目标就是：造一个为AI而生的硬件。
我们知道，最初的AI训练靠CPU和GPU搭配。CPU是总指挥，负责调度任务。GPU则像一座巨大的工厂，里面有成千上万个小工位，可以进行大规模并行计算。但AI训练远不止一次计算，参数、梯度、激活值全得在显存、缓存、计算单元和GPU间来回倒腾。一旦模型大到单卡塞不下，就得切成几块分给多卡，让它们互相配合。
所以真正拖慢AI的，很多时候是数据在不同芯片、不同内存、不同机器之间来回移动这个过程。
许多芯片公司解决这个问题的思路，是把GPU拼成一个集群，再花大量工程解决它们之间如何通信的问题。而Cerebras的思路是，把尽可能多的计算单元、内存和互联，放到一整片晶圆上，做成Wafer-Scale Engine（晶圆级引擎，简称WSE）。
普通芯片的制造，是在一张晶圆上同时印出几百个小芯片，然后切开，一块一块单独使用。但Cerebras是把整张晶圆做成一个巨大的AI处理器。这片晶圆的面积是最大GPU的58倍。很多原本需要跨GPU、跨服务器、跨网络完成的数据移动，现在可以在晶圆内部完成。
Angela Yeung
Cerebras产品资深副总裁
传统GPU架构里，HBM（高带宽内存）是和计算芯片分开的。只要数据需要在内存和计算单元之间传输，就会耗费很长时间。这个过程受限于所谓的内存带宽。因为我们的内存和计算单元在同一片硅上，所以我们拥有极高的内存带宽，达到GPU的数千倍量级。
2016年3月，Cerebras正式成立，由Benchmark领投Series A，融资2700万美元。
说到这里，我们不得不感叹Andrew的远见。2015年底，在Cerebras决定押注晶圆级引擎的时候，Transformer架构甚至还没有诞生，今天这套以大模型为核心的AI产业还远没有成型。当时，深度学习当然已经在爆发，英伟达也已经开始把GPU推向数据中心和神经网络训练。但主流路线，仍然是把GPU拼成越来越大的集群，再用软件和高速互联解决训练速度的问题。
Cerebras的不同之处在于，它从一开始就问了一个更底层的问题：如果AI会成为一种全新的计算负载，能不能为它重新设计一台机器？
有投资人回忆，2015年底与Andrew见面时，他有一页slide，列出了深度学习面临的七个核心问题，而这些问题本质上都指向同一件事：训练时间太长。这也正是上一章结尾提到的、百度团队面临的瓶颈。
投资人周楠在2016年加入百度AI实验室，成为了Greg的同事。她的第一个任务，就是寻找一种专为深度学习打造的新计算方案。
Nan Zhou 周楠
Cerebras早期投资人，前Qualcomm Ventures合伙人
作为投资人，研究员们交给我的任务是：去寻找一种非常强大的、英伟达之外的AI算力方案。因为他们预测，在未来五到十年，更现实地说可能是十年左右，会出现非常大的模型，参数规模会远远超过5亿，像一个维基百科模型一样。所以在当时，他们都说：我们需要一种不同类型的GPU，或者说，一种不同的计算架构，来确保模型可以继续扩大，而且训练得更快。因为当时的GPU，并不是为深度学习优化的架构。
其实那时候，挑战通用GPU的尝试并不少。谷歌已经在内部使用TPU，这是一种专门为机器学习中的矩阵计算而设计的ASIC（专用集成电路）。英特尔收购了深度学习硬件创业公司Nervana，英国的Graphcore在做IPU，Groq、Habana、SambaNova这些硬件公司也基本都在这个阶段成立，沿着不同方向试图重新设计AI芯片。
Cerebras的方案，是这之中最激进的。
Nan Zhou 周楠
Cerebras早期投资人，前Qualcomm Ventures合伙人
在当时，Cerebras对这个问题给出的答案是非常大胆的。我当时的理解是：如果AI会继续增长，如果模型会继续变大，那么整个计算系统就必须被重新发明。而Cerebras的做法，就是晶圆级计算，也就是Wafer-Scale Engine。所以那个时候，真正的问题和风险是：如果算力会成为AI进步的瓶颈，那么这种结构真的能工作吗？这种架构真的能加速AI计算吗？这个想法听起来非常疯狂。但我十年前做的整个尽调，最后变成了一个非常科学驱动的项目。
接下来，周楠花了整整四周时间，把尽调变成一个科学项目，将所有的投资风险拆解成一个个可以验证的技术问题。
第一，良率能不能控制？晶圆制造一定会有缺陷。如果一整片晶圆就是一颗芯片，这些缺陷会不会让整颗芯片报废？
第二，第一次tapeout（流片）能不能成功？在芯片行业，流片意味着把设计交给工厂生产。一次失败，就可能意味着几千万美元的额外成本和几个月的时间损失。
第三，如果晶圆上有一部分区域坏掉，系统能不能识别、绕开，并继续运行？
第四，真实的AI工作负载，能不能被编译器映射到这样一套全新的架构上？
第五，它能不能接入客户已经在使用的机器学习框架，而不需要所有人从零开始重写代码？
尽调过程中的一个关键转折点，发生在Greg见到Cerebras团队之后。在Scaling Law的初步发现之后，Greg已经见过20多家做AI芯片的创业公司，每一家的pitch都大同小异：他们说，自己在做比英伟达更好的GPU。一开始，Cerebras在Greg眼里也是这20多家里平平无奇的一家。直到有一天，他来到了Cerebras的办公室。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
我开车去了Cerebras的办公室。CEO拿出一本实验笔记本，对我说：“我想出了怎么把更多处理器真正集成在一起。”接着，他们叫来一群做散热的工程师，搬出一大块金属，说：“这是我们要连接到芯片上的热交换器，用来给它降温。”
我当时的反应是：等一下，GPU根本不需要这么大的功耗，你们想的肯定不是普通GPU。然后他们把一整片巨大的晶圆拿了出来。我一下子明白了：哦，原来你们真的在尝试造一颗更大的芯片。而且不只是想造，你们已经成功有了一片。
那一刻他意识到，Cerebras不是一个山寨版的英伟达，他们在做一件完全不同的事：造一块大到前所未有的芯片。如果Cerebras真的能造出这样一块芯片，就能解决百度团队的问题：速度。
周楠告诉我们，团队将Cerebras的编译器接入了百度自研的3亿参数语言模型，在Cerebras的模拟器上跑了一遍测试，得到了不错的结果。要知道，当时Cerebras还没有真正出货的产品，他们只有一张实验室里的晶圆原型和一台模拟器。
四周后，周楠得出了她的结论。
Nan Zhou 周楠
Cerebras早期投资人，前Qualcomm Ventures合伙人
这套架构是可行的，而且它非常重要，因为它真的有可能加速AI的发展。当然，那个时候Transformer还没有出现，但我们已经看到，语言模型的规模会变得非常大，远远超过5亿参数。
其他技术风险依然存在，但周楠认为，它们都是可以被解决的。
Nan Zhou 周楠
Cerebras早期投资人，前Qualcomm Ventures合伙人
而且，如果真的出了什么问题，只要公司有足够的资金，这些问题就是可以解决的。所以我们决定押下这个激进的赌注。
在这里，我们可以展开讲讲，Cerebras是如何解决良率问题的。
在台积电5纳米工艺下，每平方毫米大约会出现0.001个缺陷。听起来很小，但Cerebras的WSE-3芯片面积是46,225平方毫米。算一下，一整片晶圆上大约会有46个缺陷。在一块没有容错设计的传统芯片上，这46个缺陷里的任何一个，都足以让整块芯片报废。
Cerebras的解法，包括两个设计。
第一，把核心做到极小。传统GPU的一个计算核心很大，英伟达H100的一个SM核心大约是6平方毫米，一旦缺陷落在上面，这6平方毫米就全废了。而Cerebras把每个核心缩小到0.05平方毫米，大约是H100核心的1%。这意味着，同样一个缺陷，砸在H100上要损失6平方毫米，砸在Cerebras上只