不只让机器人学会做事,更让机器人学会一起做事丨对话芝诺机器人植伟铭


一项双机器人协作测试中,研究人员故意让其中一台机器人晚了 3 秒。


另一台机器人没有收到额外提示,也无法读取伙伴的内部状态。它原本应该按照既定节奏继续移动,却主动慢了下来:等待伙伴、维持接触,再根据对方迟到的动作重新调整时序。结果显示,这段 3 秒的延迟几乎没有影响任务成功率。


这项测试来自芝诺机器人近期发布的 Zeno-1。它是一个拥有 30 亿参数、面向协作物理智能的基础模型,试图解决一个过去较少被机器人基础模型触及的问题:一个更聪明的机器人单机并不是万能的,如何让机器人学会一起做事。


对人来说,协作中的等待近乎本能。两个人共同铺床单时,一方发现另一方还没有抓稳,通常会下意识地停一下。手臂的位置、床单张力的变化,以及对方是否开始发力,都能成为调整动作的信号。


机器人却很难理解这一点。假设两台机器人都学会了抓取和拉动床单,其中一台完成抓取后立即向后拉,可能把床单带出另一台机器人的可达范围。它没有识别错误,也没有执行错误,但整个任务仍然失败了。


不只让机器人学会做事,更让机器人学会一起做事丨对话芝诺机器人植伟铭

视频丨两个机器人协作整理床铺(来源:Zeno AI)


过去几年,机器人基础模型主要在提高单体能力:识别环境、理解指令、抓取物体、使用工具。但当另一台机器人进入同一个任务,问题就发生了变化。伙伴会移动,也会犯错;它既是环境的一部分,也是一个持续作出决定的行动者。每一次抓取、拉动和接触,都会改变另一台机器人下一刻面对的物理世界。


机器人因此必须在完成自己动作的同时,判断伙伴有没有准备好、双方是否仍然同步,以及原来的动作计划是否还成立。


多机器人协作并不是一个新概念。仓库中早已有大量机器人接受统一调度,系统决定由谁执行任务、去哪里执行,以及怎样避免路径冲突。但这些机器人多数仍在独立完成任务,协作主要发生在调度层面。


共同搬运、物品交接、联合装配和柔性物体操作则要求机器人共同接触和改变同一个物体。一方稍微早一点发力,就可能破坏另一方的抓取;一方的轨迹出现偏差,另一方需要立即等待、让步或调整动作。协作不再发生在调度系统,而是在机器人与物体接触的瞬间。


芝诺关注的正是这种发生在操作过程中的协调。


同一个 Zeno-1 模型分别运行在每台机器人上,没有中央控制器,也不读取伙伴的内部状态。每台机器人只根据自己的视觉观察、本体状态和交互历史行动。伙伴怎样移动、是否完成抓取,以及共享物体发生了什么变化,构成了机器人之间的信号。芝诺将其概括为:物理世界本身就是协作界面。


Zeno-1 要处理的也不只是一次短暂的双机配合。在芝诺团队的完整评估中,同一个策略可以连续运行超过 10 分钟,完成共享物体搬运、工具使用和柔性物体操作等多个协作子任务,中途不重置环境,也不切换策略。


任务持续时间变长后,机器人还需要记住此前发生过什么。眼前相似的画面,可能对应不同的交互阶段;一次没有处理好的延迟或接触偏差,也会在后续任务中不断累积。


获得这种能力,首先要解决协作数据的稀缺。配合默契的人类操作者能够产生干净的多机器人演示,却很难复现自主机器人实际运行时产生的迟疑、误差和节奏变化。


Zeno-1 因此加入了闭环伙伴交互训练(Closed-loop Partner Interaction,CPI)。研究人员先让机器人从视频和真机示范中获得基本操作能力,再让已经具备能力的模型进入真实的伙伴交互。自主策略在运行中暴露出的延迟、偏差和协作薄弱环节,随后成为新的训练数据。


这套方法建立在一个明确的判断上:个体能力是协作的起点,却不会自然变成协作能力。机器人学会抓取、搬运和使用工具之后,还要重新学习怎样等待、让步和适应伙伴。


芝诺机器人联合创始人兼首席科学家植伟铭早期研究机器人感知、运动生成和机器人学习。过去,他关心的是一个机器人怎样从示范中学会完成任务;现在,他试图把同一套学习范式扩展到多个机器人组成的物理系统。


围绕 Zeno-1 的方向判断、训练方法、能力边界,以及协作智能从研究走向部署的路径,我们与植伟铭进行了一次对话。


以下是 DeepTech 与植伟铭的对话


当单体能力提高,协作成为自然的下一步


DeepTech:先从一个最基础的问题开始,芝诺怎么定义自己?Collaborative Intelligence(协作智能)、Physical AI foundation model(物理 AI 基础模型),还是别的什么?


植伟铭:从创立之初,我们就想把芝诺打造成一家以 Foundation Model 为核心的全栈 Physical AI 公司,致力于打造能在真实世界各类日常场景中可靠实现灵巧操作的物理人工智能。


过去几年,整个行业都在着手提高机器人能力。这里面有两种方式,一是提升机器人的单体能力,围绕灵巧性、泛化性与可靠性,这也是过去大家都在努力的方向。但现实世界中的任务,不是只为一个人/一台机器人设计的。一个更聪明的机器人单机并不能解决所有问题。


这也引出了第二种思路,提升机器人的群体协作能力,当然这背后蕴含另一层思考是当机器人进入规模化应用,群体协作一定是其中一种展现形式。所以我们判断现在是一个很好的时间节点去布局 Collaborative Intelligence,Zeno-1 是我们在这个方向上的一次重要探索,不只让机器人学会做事,更让机器人学会一起做事。


最终,我们的北极星还是去建立一个 Physical AI Foundation Model——让机器人从实验室走出来,部署在不同的场景去可靠地完成各种任务。


DeepTech:当前机器人基础模型的竞争主要集中在单体机器人的感知、操作和泛化能力上。芝诺为什么把研究重心进一步放在多机器人协作?这一方向判断是怎样形成的?


植伟铭:我觉得一个很自然的判断是:机器人能力继续提升之后,瓶颈不会永远停留在“一个机器人能不能完成一个动作”,而会逐渐变成“多个机器人能不能在同一个物理世界里一起完成事情”。


过去几年机器人基础模型解决了很多单体能力问题,比如识别环境、理解指令、抓取、移动、使用工具。但现实世界里的很多工作本身就是协作式的。搬运大型物体、共同装配、交接物品,这些任务不是简单把一个机器人的能力复制两份就可以解决。我们在特别强调:两个机器人即使分别都有抓取、搬运和操作能力,仍然可能因为时序、运动或者接触关系不兼容而一起失败。


所以我们的判断是,个体能力是基础,但协作能力是另一层问题。当机器人越来越能干以后,“如何和别人一起做事”会成为物理智能非常重要的一部分。


DeepTech:多机器人协同在仓储物流领域已经实现了大规模应用。以亚马逊为例,其机器人舰队规模已经超过 100 万台,DeepFleet 等系统主要解决大规模路径规划和任务调度问题。Zeno-1 所说的“协作”,与这类调度层面的多机器人协同有什么本质区别?


植伟铭:Zeno-1 和 DeepFleet 解决的是不同层级的问题。DeepFleet 主要做大规模机器人系统中的路径规划、任务调度和交通协调;Zeno-1 不做显式 planning 或 scheduling,而是研究机器人能否直接从数据中学会协作行为。


当两台机器人共同搬运、交接或操作柔性物体时,一个机器人的动作会直接改变另一个机器人的可行动作空间。Zeno-1 通过 Closed-loop Partner Interaction(CPI,闭环伙伴交互)学习这种实时依赖关系,例如什么时候等待、让步、重新调整动作或恢复协作。


所以简单来说,DeepFleet 更接近 multi-robot planning(多机器人规划);Zeno-1 更接近 learning collaborative physical behaviour from data(从数据中学习协作物理行为)。


DeepTech:与任务分配和路径调度相比,多机器人在共享物体、物理接触和共同操作层面的协作,目前处于怎样的发展阶段?


植伟铭:我认为它仍然是一个相对早期的问题。


路径规划和任务调度已经可以在非常大的机器人舰队上运行,因为机器人之间的耦合通常比较弱——核心问题是“谁去哪里”“怎样避免碰撞”。但一旦进入共同操作,耦合会突然变强。


第一个困难是部分可观测性。每个机器人只能从自己的视角判断伙伴现在在做什么。


第二个困难是接触动力学。机器人之间可能通过同一个刚性物体、柔性物体或者工具连接起来,一个机器人的动作会立即改变其他机器人的物理状态。


第三个困难是伙伴行为并不完全可预测。机器人可能慢半秒、抓取失败、重新调整位置。一个预先规划好的协同轨迹很容易因此失效。


第四个困难是误差会随时间累积。几十秒的任务也许可以靠严格同步完成,但当任务持续几分钟以后,时序差异、抓取变化、物体状态变化都会不断积累。Zeno-1 中我们正是把这些问题作为长时协作的核心挑战。


所以这实际上把多机器人、机器人学习、灵巧操作和长时序决策几个过去相对独立的领域结合到了一起。


DeepTech:最近 Figure 的 Helix 02 和 Google Deepmind 的 Gemini Robotics 2 在技术报告中都不约而同的提到了 Coordinate/Teamwork 的关键词,Zeno-1 中强调的 Collaborative Intelligence 又有哪些差异?


植伟铭:我觉得这首先说明一个趋势:当单体机器人能力越来越强,协作正在成为下一层共同关注的问题。


但从目前公开展示来看,Figure 和 Google DeepMind 都还没有像 Zeno-1 一样,集中展示这么多种类、这么高物理交互难度的协作任务。Figure Helix 02 展示了两台机器人共同整理床铺,这是非常接近我们关注的问题;Gemini Robotics 2 则更多展示通过 reasoning、通信和任务分工完成 multi-robot workflow。


Zeno-1 的重点更集中在 contact-rich collaborative behaviour(接触密集型协作行为):共同搬运、共享抓取、工具使用、柔性物体操作,以及长时间连续协作。更重要的是,我们把 collaboration 本身作为一个 data-driven learning problem(数据驱动的学习问题)——不是通过显式 planning、scheduling 或预设通信来协调,而是让机器人从 CPI 中直接学习什么时候等待、让步、调整和恢复。


区别是我们希望把高难度、接触丰富的协作本身系统地做成 foundation model 的核心能力。


DeepTech:你们如何判断这一技术方向的产业时间线?为什么需要多台机器人共同完成,而不是依靠一台能力更强的机器人?


植伟铭:我觉得现在其实是一个很重要的时间点。过去几年,机器人基础模型首先推动的是单体能力提升。当单个机器人逐渐“会做事”以后,下一个很自然的问题就是:它能不能和其他机器人,甚至和人一起把事情做好。所以协作物理智能不是一个独立于单体能力的新问题,而更像是单体能力发展到一定阶段以后自然出现的下一层能力。


真正推动产业发展的核心是提高系统可扩展性并降低成本。


很多真实环境里,增加一台标准化机器人,往往比设计一台更大、更重、更复杂的专用机器人更经济。后者随着负载、工作空间和自由度提升,硬件、安全和维护成本都会快速上升。


如果机器人具备协作能力,多台通用机器人平时可以独立工作,需要时再组合完成高负载或复杂任务,设备利用率也更高。


所以我们更关注的是:能不能把“增加机器人”变成一种低成本、可渐进扩展的能力扩容方式。


个体能力是必要条件,但不是充分条件


DeepTech:Zeno-1 明确区分了“个体能力”与“协作能力”:两个分别具备任务所需技能的机器人,放在一起仍然可能失败。能否通过一个具体实验,解释这种失败是怎样发生的?


植伟铭:一个非常直观的例子就是共同拉伸或者展开柔性物体。


两个机器人可能分别都已经学会了抓取和拉动物体。但如果其中一个机器人已经开始拉,而另一个机器人还没有完成抓取,那么“继续向前拉”从单体角度完全是一个合理动作,但从协作角度却是错误动作——它可能把物体拉走,破坏另一个机器人的抓取。


真正的协作策略应该发现伙伴还没有准备好,然后减速、等待;伙伴重新建立接触以后,再恢复动作。


这正是我们想强调的区别:动作本身没有绝对的“正确”,它的正确性取决于伙伴此时的状态。报告里的延迟扰动实验也是直接在测试这一点:同步示范训练的策略会因为伙伴延迟迅速失去协调,而 Zeno-1 会进行等待、让步、重新调整时序然后恢复。


DeepTech:这是否意味着,协作能力不能直接从个体能力中推导出来?那么它究竟来自哪里,是训练中涌现的,还是在模型架构中被显式设计的?


植伟铭:我们的结论更接近:个体能力是必要条件,但不是充分条件。Zeno-1 的训练实际上把这两个阶段分开了。


前面的 broad physical pretraining(覆盖多类物理任务的预训练)和 individual embodiment grounding (单体具身适配)首先解决“机器人自己会不会做事”。后面的 CPI 和 targeted correction(定向纠偏训练)才解决“机器人能不能根据伙伴实际发生的行为改变自己”。


所以协作能力不是单纯依赖模型规模以后自然涌现出来的。我们有意识地改变了机器人训练时所面对的数据分布。


DeepTech:CPI 可能存在一个自举问题:高质量的协作数据需要能力较好的协作者,但协作者本身又需要通过协作数据进行训练。Zeno-1 如何解决初始伙伴能力不足和协作数据冷启动的问题?


植伟铭:这正是为什么我们的训练不是从“两个什么都不会的机器人互相学习”开始。


整个训练过程实际上把问题拆开了。


首先通过 broad physical pretraining 建立物理行为先验。


然后用 40 小时真机示范数据做 individual embodiment grounding,让机器人先获得比较强的单体全身操作能力。


有了这个基础以后,再让已经具备基本能力的模型彼此进行 CPI。这里使用了 4 小时伙伴交互数据。


最后,系统自己运行会暴露新的 coordination-critical states(协作关键状态),我们再把人工纠偏数据集中到这些位置。


所以核心不是让协作从零自举,而是:先学会做事,再学会和真实的已经训练好的伙伴协作一起做事,最后针对真实运行中暴露出来的薄弱环节补数据。


DeepTech:协作训练会不会反过来提升单个机器人的能力?


植伟铭:这种训练很可能也会强化一些更普遍的能力,例如对环境变化的敏感性、动作调整以及对接触后果的预测。但目前我们不会把它直接表述成“协作训练系统性提高了所有单体 benchmark”。


更有意思的一点其实是:单体能力和协作能力的边界可能会逐渐变模糊。一个机器人在现实世界里操作时,人、其他机器人甚至被操作的物体本身都在不断改变状态。学会对这种变化作出反应,本质上也是更强的 physical intelligence。


不只让机器人学会做事,更让机器人学会一起做事丨对话芝诺机器人植伟铭

视频丨三个