推荐语
大模型出厂之后，能不能像人一样边用边学？
人能在使用中实时成长，这本是常识，对大模型却是难以逾越的僵局。因为模型训练与推理从一开始就被划清了界限，出厂即“固化”，推理时无法吸收新知。全行业的共识高度一致：把上下文拉得越来越长，再靠庞大算力定期“回炉重造”训练新模型。
但中国创业公司无涯智远，偏要直接挑战这个共识。他们选择了一条全球鲜少有人涉足的险路：在前向传播中直接改动模型参数。这一探索撕开了隔在“推理”与“训练”之间的藩篱，让大模型像人一样，实现边用边学。
开创这条路线的人是无涯智远创始人张牧涵，一位来自北大的90后顶尖AI科学家。
张牧涵身上有着极其鲜明的“范式开拓者”印记：作为图神经网络（GNN）早期的开拓者之一，他提出的 SortPooling、SEAL 等算法奠定了该领域的早期标准，被主流图深度学习库广泛收录。截至目前，他已发表论文百余篇，总引用超 1.6 万次，并两次入选全球前 2% 顶尖科学家终身影响力榜单。
在 Facebook 期间，他将图深度学习带入支撑数十亿用户的大规模推荐系统。然而，当顶级学术成果最终被抽象为广告点击率上几个小数点的提升，他开始重新审视自己的科研抱负：“还是想做 AGI。”为此，他毅然放弃硅谷高薪回国加入北大教职，如今更为了破解大模型持续学习的全新范式，迈向创业。
无涯智远切入的，正是 RSI（递归自我改进）中最核心的模型持续进化这一环节。在张牧涵看来，AI 能够自主探索或生成数据，并不等于模型能实时吸收并转化为自身能力的进化。“你可以让一套工具并行探索一万个想法，但怎么把这一万次轨迹快速变成模型自身的提升？”
相较于依靠 Harness、外部检索或上下文管理来外部“借力”，张牧涵更看重模型参数本身的持久进化——如果不能把经历转化为内部参数，模型就永远只是一件被动调用的工具，陷入《记忆碎片》式的失忆循环。
为了从底层破解这一死结，张牧涵带领团队提出了参数内学习（In-Parameter Learning, IPL）。这背后是一项极具野心的技术构想：把“如何更新模型”本身，训练成一种可以泛化的元能力。通过超网络（Hypernetwork）的一次前向传播，直接生成基座模型的参数更新，让每次知识写入不必再经历反复的梯度下降，将成本直接降至接近推理量级。这是一次挑战当下模型更新范式的颠覆性底层创新。
IPL及其超网络架构的实现，正是为大模型装上了一颗掌控长期记忆的“海马体”。当参数写入的开销被压缩至秒级前向传播，模型升级不必再依赖大厂高昂的“回炉重造”。企业只要部署得起推理设备，就能低成本训练自己的专属模型，属于个人的自进化智能时代由此拉开帷幕。
目前，无涯智远已在实验室验证了超网络的跨语言与跨领域泛化性，相关成果获 ICML 收录，并已开启大规模超网络训练。在张牧涵看来，当参数更新的门槛从百卡、千卡降至单机甚至端侧部署，AI 产业的底层规则将被彻底颠覆：大厂提供通用基座的时代固然延续，但定义参数的权利将重新回到企业与个人手中——每个人都能拥有一个在工作中不断进化、永不漂移的“专属智能”。
这条颠覆性路线正吸引着最顶尖的人才加入。如今的无涯智远团队里，汇聚了清北通班名列前茅的尖子生、数理化奥赛全国金牌前十的选手，以及省高考状元与 ICPC 金牌得主。他们目标是一个极其纯粹的工程野心：把这条全球无人走过的路，一起变成现实。
这次专访，ZP从张牧涵的技术演进之路谈起，剖析 RSI 的学习闭环、超网络与 TTT 的技术脉络，并共同展望一个具体的终局——当模型更新的权利交还给每个人，AI 产业的产品逻辑、分工体系与商业机会将发生怎样的巨变。
Highlights
- 我有时会给自己加码，主动增加一点挑战。在更困难的环境里做成一件事，对我更有吸引力。
- 所以我们要找的，不只是另一种微调技巧，而是一种更低成本、更实时，又能兼容新旧知识的参数更新方式，可以让模型持续学习。
- 我不想让模型每次升级，都要“回炉重造”。我想让它在工作中就能学习，原来学到的东西继续保留，新经历增量地进来。这不只是速度问题，也涉及成本，以及谁拥有更新模型的能力。
- 如果你只动Harness、动上下文，改变的是模型外部的脚手架，它仍然受这个基座能力上限的限制。如果参数能动，模型才可以继续往上走。这条路没有一个预先被固定参数锁住的上限，可以一直进化。
- 如果一个人不能形成新的长期记忆，我很难想象他是一个完整的整体。Agent如果不能积累这些经历，每次都是碎片化的记忆、单次推理，很难形成持续、一致的行为模式。
- 我们不是第一个用超网络生成模型参数的团队。但我们是第一个真正把它做出规模扩展、让它展现出这种泛化能力的团队。
- 如果参数更新的成本接近推理，训练模型的门槛就降下来了：只要部署得起自己的模型，未来就有机会训练自己的模型，把自己的数据变成专属于自己的模型能力。我们想让每个人、每家企业，都能低成本拥有一个自己的模型，并且在使用中持续进化。
01 从图神经网络开拓者到Facebook核心团队，他为何转身回北大
ZP：欢迎牧涵，先简单聊聊你的经历，你是怎么走上AI研究这条路的？
张牧涵：我高中读东北师大附中，通过物理竞赛保送上海交大，就读于电院的IEEE试点班，专业是电子工程和自动化。
本科时，我进入张娅老师的课题组接触机器学习和数据挖掘。她有一门课让我们做搜索引擎，自己写爬虫，抓取校内网站和新闻，再用关键词搜索。文字搜索做得还不错，后来加了一道题：能不能以图搜图？我们用SIFT算子做图片匹配，手工调了半天，效果也不好。结果2012年，深度学习在ImageNet上超过了传统方法。当时很震撼：半年前还在费力手搓的东西，转眼就被一套新方法超越了。
这让我坚定了转向AI的想法。2015年，我去了圣路易斯华盛顿大学读计算机科学博士，研究的是深度学习方向，这在当时只是计算机科学下的一个分支，远没有现在这样主流。
2015年入学之后，还发生了一个很有意思的小故事，当时上Roman Garnett老师的人工智能引论课，他说，国际象棋、西洋跳棋已经被传统搜索算法解决了，但围棋可能还得很多年——19乘19的棋盘，组合搜索空间太大了。当时这确实很难。结果第二年，AlphaGo就出来了。给我的冲击很大。
这也让我觉得AI特别有意思：创造它的人，不需要是世界上最聪明的那个人，但创造出来的东西，可以超过世界上最聪明的人。
ZP：那时候最热的是计算机视觉，但你选择了图神经网络这个方向，也取得了很不错的成果被很多人认识。为什么？
张牧涵：我对视觉也感兴趣，但我更想做一些新的、开拓范式的东西，不想只在别人已经开拓的范式里添砖加瓦。
2015年、2016年，ResNet刚出来，很多做深度学习的人都在做视觉。我就在想，现在深度学习还有什么处理不了？图这样的结构化数据，当时就很难处理。这里的图是graph，不是image。
比如分子，原子是节点，化学键是边；社交网络也是图，人和人之间有连接。它不一定像图片那样，有规则的二维位置。图片可以从左到右、从上到下排列像素，但一个分子里，哪个原子应该排第一？没有天然的顺序。你换一个编号，它还是同一个分子，模型对它的判断不应该变。这涉及置换不变性：同一张图有很多种节点排列，怎么让模型仍然给出一致的结果？这是当时把深度学习用在图上的重要挑战。
蛋白质也能表示成图，可以把氨基酸及其空间关系组织起来，也可以做全原子的图。有的图带三维信息，有的像社交网络，主要是拓扑关系，不能像处理图像的方式，简单给每个人分配一个二维、三维坐标。
我想做的就是，把深度学习扩展到这些它还不擅长处理的对象上。
ZP：当时有多少人做这个方向？
张牧涵：我开始做时，能读到的文章不超过五篇。
ZP：你其实是世界范围内探索图神经网络并且参与了早期理论和算法构建的人，可以具体讲讲当时主要做了什么？
张牧涵：我比较幸运，参与了这个领域早期一些方法和理论基础的建立。当时提出了图神经网络的多种经典算法，包括用于图分类的SortPooling算法、链路预测的SEAL算法，以及矩阵补全的IGMC算法等。这些成果后来也被多次收录进PyTorch Geometric、DGL等图深度学习标准库。
主要工作是在2016年到2018年做的。比如全图分类，给模型一个完整的分子图，让它预测这个分子的毒性、水溶性。我们做了较早的一批图分类神经网络。
还有链路预测，给你一张图，判断两个节点之间会不会有连接，可以用在推荐等任务上。后来也做了图神经网络的表达能力、通用逼近定理等理论研究。比如社交网络里，判断两个人有没有连接的可能，或者在用户、广告等组成的图里预测关系，就能服务推荐。全图分类关注整张图的性质，链路预测关注节点之间的关系，是不同层级的问题。
我们不只做算法，也研究这种网络究竟能表达什么、在什么条件下能逼近目标函数。很多工作是在建立这个方向的基础，而不是沿用一个成熟框架，换数据集做实验。
ZP：什么时候感觉自己的工作有影响了？
张牧涵：2018年、2019年，感觉自己突然就火了。去开会，走了一大圈，一大堆图神经网络的文章都引了我。有的是基于我的算法、代码和benchmark继续做研究，很多人过来：“原来你是那篇文章的作者。”
那时候我才很直接地感受到，自己的方法正在变成其他人的研究起点。去会议上看，不少文章沿着我们的方法、代码和评测继续做。这也给了我很大的正反馈，证明我有开拓一个领域、一个新范式的能力。
ZP：之后博士毕业你就去了Facebook？
张牧涵：我用四年完成了博士学业，随后加入 Facebook。一个重要原因是此前的实习体验很好。那里的大规模图数据和实际应用场景，也与我的研究兴趣很契合。我在 Facebook AI 的个性化团队参与图深度学习系统的开发，把图结构信息用于广告推荐。这是我第一次将研究成果放进如此大规模的生产环境。这段经历让我积累了研究与工程结合的经验，也逐渐明确了自己更想长期投入的方向：除了面向具体任务优化模型，我还希望探索更通用的学习能力，理解 AI 如何学习、泛化，以及持续获得新能力。这也成为我后来回到高校、投入基础研究的重要动力。
ZP：这是你选择回国的主要原因？
张牧涵：当时选择回国，一方面是看好国内人工智能研究和产业发展的机会，另一方面，也是希望自己能在中国参与推动这个领域的进步。
最后选择北大，主要是觉得这里的研究环境与我希望做的事情很契合。当时新成立的人工智能研究院，希望推动不同学科之间的交流与合作，我也遇到了很多志同道合的同事。对我来说，能够在一个开放、自由、鼓励交叉探索的环境里，和大家一起研究感兴趣的基础问题，是很有吸引力的。
ZP：回国意味着研究环境和人才条件都会变化，你当时没有顾虑吗？
张牧涵：这些变化不是我当时最担心的。我更看重的是，能不能找到值得长期投入的问题，和志同道合的人一起把它做出来。有些问题还没有解决，我就想自己来试一试。
我有时会给自己加码，主动增加一点挑战。对我来说，去探索一个还没有明确答案的问题，本身就很有吸引力。之前做研究的经历，也给了我一些信心：面对新的问题，可以一点点找到方法、做出进展。我相信回国后，也能继续做出有价值的工作。
02 RSI的关键一环：把经历写进参数，让模型持续进化
ZP：后来促使你创业的这条技术路线，最初是从什么问题开始的？
张牧涵：ChatGPT出来之后，我从2022年底开始投入大语言模型研究，但一开始有点像挑刺，看看它哪里做得不好，有什么局限。当时上下文学习是最让人觉得很神奇的能力：换一段提示，放几个例子，同一个模型就能适应不同任务。那时上下文窗口只有4K左右，大家都在拼命把它做长。但这个窗口能一直扩下去吗？
我觉得不可能。传统全注意力计算有平方复杂度的问题，长度增加十倍，相应计算量可能增加一百倍。工程优化可以降低开销，但长上下文还要占很多显存，保存KV cache，也就是注意力计算里的键和值缓存。你放进去的每一个token，各层对应的K和V都要缓存。
上下文越长，这个负担越大。长度扩大一百倍，相应的全注意力计算量可能扩大一万倍。即使把常数做小，也还是有成本。我观察到，上下文在百万token左右这个量级，继续往上做已经很不经济。而且在一些长上下文场景里，显存其实主要会被用来存KV cache，而不是模型权重。你希望模型随时使用全部经历，就会不断付出这部分开销。
所以我不认为所有问题都应该靠扩大窗口解决。上下文很像短期工作记忆，临时用一下，开一个新窗口，之前的状态就清空了。但人还有长期记忆，能把重要的东西沉淀下来，未来复用。我就在想，模型能不能也有这样一套机制，把“这次看过的内容”变成“以后也能用的知识”？这样能让模型持续更新升级。
这就让我想到模型参数。它可以类比成长期记忆：知识写进参数，就成为模型的一部分，下一个任务还能用，不需要每次重新把整段材料塞回来。上下文可以清空，参数修改之后，知识就成为这个模型的一部分，能够跨任务保留。模型做推理时，直接使用参数里的知识，不必为了使用同一份材料，再维护一整段上下文和它的缓存。
ZP：为什么不能把更多经历直接放进上下文，让模型从中学习？
张牧涵：有些东西不是看着轨迹就能学会的。一个小朋友学骑自行车，你给他看一百个小时的轨迹，他就会骑了吗？需要把其中的规律变成自己的本能。我认为模型也有类似的问题，需要把经验压缩进参数，才可能获得能力本身的提升。
这就是训练，也是压缩。“压缩即智能”，这是我理解这件事的一个角度。大量经历要被提炼成普适规律，而不是只留下轨迹的逐条记录。如果只靠上下文管理就能把能力一直往上提，那拿一个早期的模型，加上今天最复杂的上下文管理，它就能达到最新一代模型的性能吗？我认为不能。参数上的升级才是本质的智能提升。
ZP：如果要把经历持续写进参数，让模型边使用、边学习，现有的训练方式卡在哪里？
张牧涵：新知识很难简单、稳定地增量写进已有模型，所以很多更新还是把新旧数据混在一起，再做一轮训练。否则容易学了新的、丢了旧的。这样，训练和推理仍然是分开的。隔几个月训练一次、发布一个新版本，相当于不断“回炉重造”，很难做到实时的持续学习。