Sutton创业剑指AGI：20瓦万亿参数才是真天花板？

20瓦跑万亿参数，这能耗比确实离谱，我搞过模型量化部署的都知道现在把千亿模型压到单卡推理有多费劲。不过更让我在意的是“第一人称持续学习”这个点——如果真能像人一样边用边学，那AGI的落地路径可能就不是靠堆数据和算力了。但有个疑问：这种架构怎么解决灾难性遗忘？总不能每次学新东西都把旧参数冲掉吧。

看到这个帖子，我坐不住了。作为一名在AI infra和算法岗来回横跳了快十年、亲手部署过百亿参数模型、也参与过一些低功耗推理芯片验证的老兵，我得说Sutton这次的动作确实值得认真拆解，而不是简单当成“老爷子又开新坑”。你提到的几个点切得很准，尤其是“分布外场景性能断崖式下降”和“20瓦与万亿参数”这对矛盾，正是当前行业最深的痛点。但我认为，OaK架构的野心可能比帖子描述的还要激进，甚至可以说它是在用一种非常“非主流”的方式，重新定义什么才是真正的智能。

先说LLM的“探索天花板”问题。你观察到的推理能力受限于训练数据分布，这是所有统计学习模型的通病，但LLM把它放大了。我举个例子，去年我帮一个客户做工业缺陷检测的LLM辅助分析，我们用了当时最强的模型之一，它能完美分析我们喂给它的所有标准缺陷图片，甚至能写出很专业的修复建议。但当现场出现一种全新的、从未在训练集中出现过的划痕类型时，模型的回答立刻变成了一堆看似合理但完全错误的理论，它开始“编造”一种不存在的物理机理。这不是幻觉，这是统计外推的必然失败。Sutton强调的“第一人称经验独立持续学习”，本质上是要让模型具备一种“在线纠偏”的能力，而不是永远依赖于静态的预训练分布。这让我想起强化学习中的“课程学习”和“好奇心驱动探索”，但Sutton想把这个机制直接内化到模型架构的底层，而不是作为后训练的策略。

接下来，我们来拆解“20瓦万亿参数”这个数字。20瓦是什么概念？一个普通的笔记本电脑CPU满负荷运行大约是15-35瓦，一个手机SoC的峰值功耗大约在5-10瓦。万亿参数是什么概念？目前最大的稠密模型大约是几百B到1T参数，单次推理需要数百甚至上千个GPU，功耗以千瓦计。所以20瓦和万亿参数放在一起，要么是用了极度稀疏的激活（比如只有0.1%的参数被激活），要么是依赖于全新的计算范式，比如存算一体或者模拟计算。我倾向于认为两者兼有。OaK架构很可能不是标准的Transformer，而是一种基于稀疏图或脉冲神经网络（SNN）的变体。我在两年多前参与过一个SNN加速器的项目，当时我们尝试在FPGA上用SNN模拟一个小规模的视觉识别任务，功耗确实可以做到极低，但精度和训练稳定性远不如ANN。Sutton团队如果真能在SNN或者类似的脉冲计算上做出突破，使得万亿参数级别的网络能以极低的功耗运行在线学习，那将是对冯·诺依曼瓶颈的一次正面冲击。

但这里有一个工程上的巨大坑：稀疏性和动态性带来的设计复杂性。如果我们真的在20瓦下运行万亿参数，那么绝大部分参数在任意时刻都是被“冻结”或“未激活”的。这要求硬件和算法必须完美协同，比如在推理时动态决定哪些参数需要被加载到计算单元，哪些可以留在存储中。传统GPU的SIMT架构根本不适合这种非规则稀疏计算，它需要的是类似数据流架构或者可重构计算阵列。我在上一家公司做过一个尝试，把一个小型Transformer的注意力头用稀疏矩阵乘法来近似，试图在边缘设备上加速。结果发现，稀疏性的引入导致内存访问模式变得极其碎片化，即使计算量减少了，实际功耗和延迟反而因为频繁的随机访存而上升。所以，OaK架构要想落地，必然需要一个定制的硬件后端，这个后端可能不是通用的GPU或NPU，而是一个专门为动态稀疏和在线学习设计的ASIC。Sutton团队如果聪明，应该已经和某个芯片设计实验室深度绑定了。

关于你提到的“灾难性遗忘”和“实时学习稳定性”，这其实是整个方案中最棘手的部分。在线学习最怕的就是网络在不断吸收新经验的过程中，把之前学到的关键能力给覆盖掉。生物体之所以没有这个问题，是因为大脑有复杂的记忆巩固机制，比如海马体和新皮层的交互。在AI里，我们通常用经验回放（Experience Replay）或弹性权重巩固（EWC）来缓解，但这些方法在万亿参数级别下计算开销极大。我猜OaK架构可能会采用一种分层的记忆结构，比如把长期知识和短期经验分开存储，短期经验通过类似“工作记忆”的机制快速更新，而长期知识则通过一种稀疏的、低频率的突触可塑性规则来更新。我曾在一个在线强化学习项目里试过类似思路：用一个小型神经网络作为“快速权重”来编码最新的经验，同时用一个大型网络作为“慢速权重”来存储通用知识，两者通过一个门控机制交互。效果还不错，但训练过程非常不稳定，超参数极其敏感。Sutton团队如果能把这种双系统机制做得既稳定又高效，那才是真正的大杀器。

另外，我想提一个帖子没有展开但至关重要的点：OaK架构的“第一人称经验”是如何定义的？如果是视觉、触觉、听觉等传感器输入，那它本质上是一个具身智能系统，需要和物理世界交互。这比纯粹在文字或图像数据上学习要难几个数量级，因为物理世界是连续的、非结构化的，且反馈延迟很大。我在2019年参与过一个机器人抓取项目，我们尝试让机器人在真实环境中通过试错学习抓取不同物体的策略。结果发现，仅仅是传感器噪声和物理环境的随机性，就足以让一个看起来很完善的在线学习算法崩溃。Sutton老爷子是强化学习的祖师爷，他肯定深谙此道。所以OaK架构很可能包含一个强大的“世界模型”作为内部模拟器，让智能体能在虚拟环境中快速试错，再将其迁移到真实世界。这相当于在架构内部内置了一个“梦想空间”，类似Hinton的“梦境”概念，但更实用。

最后，我谈谈这种架构对整个AI生态的潜在冲击。如果它成功了，我们真的会看到边缘设备的智能水平反超云端。为什么呢？因为云端模型再大，它也只能做到“见过类似数据”——它永远无法在部署后获得新的、真实的、与用户紧密相关的经验。而一个20瓦、能持续学习的智能体，可以在你的手机上、手表里、甚至家电中，通过日复一日的交互，慢慢积累起关于你个人的、独一无二的认知模型。比如它可能会发现你每天早晨喝咖啡时心情最好、下午三点注意力最容易分散，然后主动调整工作流。这种能力是目前的云端LLM永远无法提供的，因为它没有和你共享物理时空的“第一人称经验”。当然，这也会带来前所未有的隐私和安全挑战——一个能持续学习的设备，本质上就是一个持续的观察者，如何保证它的记忆不被滥用？Sutton团队大概率会在架构中植入某种遗忘机制或差分隐私的接口。

总结一下，我的判断是：OaK架构的技术路线极度困难，甚至可能失败，但它指出的方向——低功耗、在线学习、第一人称经验——是AI走向AGI必须攻克的关卡。与其说它是Sutton对当前LLM范式的革命，不如说它是他对自己过去几十年RL研究的一次终极集成。作为一线研发人员，我建议那些有硬件和系统背景的同仁多关注这个方向，因为无论OaK成败，低功耗持续学习芯片的设计需求都会越来越大，这可能是未来五年最值得押注的技术赛道之一。至于代码层面的具体实现，我目前能想到的切入点是从稀疏注意力和可微分塑性（Differentiable Plasticity）入手，先把一个微型版本的OaK在模拟环境中跑通，验证其在线学习能力。如果你有相关开源项目或论文，欢迎交流，我这边有一些关于动态稀疏计算内核的优化经验可以分享。

20瓦跑万亿参数这个目标确实够激进，我现在手头一个70B的模型光是推理就要四张A100，功耗直奔1000瓦去了。不过仔细想想，Sutton老爷子说的“第一人称经验持续学习”可能才是真正的杀手锏。我去年做过一个实验，把一个小模型部署到工业巡检机器人上，结果遇到训练集里完全没有的管道腐蚀类型，模型直接乱猜，差点把阀门状态搞反了。这种分布外场景的断崖式崩溃，在LLM上太常见了。

但OaK架构具体怎么实现低功耗下的持续学习，我有点好奇。如果真的是靠稀疏激活和动态路由那套思路，那怎么保证万亿参数里真正用到的部分能覆盖新知识？毕竟人脑虽然功耗低，但也是经过亿万年进化才形成的结构。另外，从工程角度看，20瓦的功耗限制意味着硬件层面可能得走存算一体或者神经形态芯片的路线，这跟现在主流的GPU生态差距太大了，部署门槛会不会反而更高？

不过话说回来，Sutton这波确实戳中了LLM的痛点——靠海量数据和算力堆出来的“智能”，本质上还是压缩过的统计规律。如果真能做出一个在低功耗下自主探索新知识的系统，那AGI的路径可能真要重新画了。就是不知道老爷子这次创业能拉到多少资源，毕竟这个目标需要的不仅是算法突破，整个硬件和工程体系都得重构。

部署过大规模模型的人应该都懂，LLM在分布外场景下的推理断裂确实是个硬伤，Sutton这个方向抓得挺准。不过20瓦跑万亿参数，光是显存带宽和通信开销就够喝一壶的，除非OaK在稀疏计算或存算一体上有真正突破，否则这个功耗目标听着像物理定律级别的挑战。很好奇他们论文里有没有提具体怎么绕过内存墙。

20瓦跑万亿参数，这个数字确实太吸引眼球了。我搞过模型压缩和边缘部署，心里清楚这背后有多难。现在一个7B的模型在GPU上跑推理都得几百瓦，20瓦要撑起万亿参数，除非计算稀疏性做到极致，或者像人脑那样只在必要时激活极小一部分神经元。OaK架构要是真能实现，那硬件层面的设计肯定也是颠覆性的，不是简单的算法创新。

不过我更关心的是“通过第一人称经验持续学习”这个点。LLM现在的死穴就是训完就冻住了，没法在部署后根据新场景微调。我之前做客服机器人，线上遇到的新问题，模型完全没法自己学，只能靠人工标注再回炉。如果这个智能体能在20瓦的功耗下，靠自己的交互经验实时更新权重，那才是真正的杀手锏。但这里有个坑：持续学习很容易灾难性遗忘，学一个新技能就把老知识冲掉。不知道OaK有没有解决这个问题，比如用类似突触巩固的机制。

还有一个现实问题——训练数据从哪来？第一人称经验意味着它得在真实环境里摸爬滚打，那初期能力肯定很弱。特斯拉的FSD也是靠海量路测数据才迭代起来的，这个智能体如果要从零开始学，20瓦的算力够支撑它探索的复杂度吗？感觉这更像一个长期主义项目，短期落地可能得先找个垂直领域做验证，比如机器人操作或者自动驾驶的感知模块。不过老爷子这个方向我是认同的，现在的LLM确实像个死记硬背的考试机器，真正的智能应该是在行动中长出来的。

补充一下这方面的实践经验，首先要打好基础，然后多动手做项目。

从技术架构来看，转型的核心是掌握大模型的基本原理和应用框架。