今天，世界模型几乎成为 AI 领域最受关注的话题之一，但对于“什么才是真正的世界模型”却依然存在巨大分歧。有人认为它只是视频生成的延伸，也有人认为只有能够理解物理规律、支持机器人行动的系统才是真正的世界模型。
清华大学智能产业研究院（AIR）助理教授赵昊提出了另一种答案——原生 4D 世界模型。在他看来，仅仅生成一段看起来连贯的视频，还不足以说明模型理解了世界。真正面向自动驾驶和机器人的世界模型，需要进一步描述几何、时间、光学属性以及物体间的力学关系。
从室内布局、三维场景理解与几何约束，到 NeRF、自动驾驶仿真、4D 生成，再到推进至 3D 生成、机器人策略学习和 4D 世界模型，过去十几年，赵昊的研究路线几乎完整经历了空间智能的发展过程。
（来源：受访者）
在这次对话中，我们试图追问的并不是“世界模型是否重要”，而是一个更具体的问题：为什么必须是 4D？这条强调显式几何与物理表征的路线，究竟是下一代基础模型，还是在大规模视频模型成熟前的一种阶段性方案？
以下是我们的对话：
从场景理解到 4D 世界模型：一条清晰的技术演进路线
DeepTech：在 AI 从看见世界迈向理解与干预世界的过程中，三维场景生成、神经渲染与生成式仿真这三个概念频繁出现，它们之间是一种怎样的关系？
赵昊：三维场景理解到三维场景生成，是一个挺自然的延伸。如果把这个时间拉回到我读博期间，当时，计算机视觉领域认为最重要的技术就是三维场景理解，它最大的落地场景是自动驾驶，后面自然延伸到了三维场景生成。实际上，神经渲染是三维场景生成的一个重要的技术，而生成式仿真又是一个更大的概念，你可以理解为它是三维场景生成和神经渲染的应用。
DeepTech：从语言模型到 4D 世界模型，多模态大模型是如何一步步演进的？
赵昊：从整个领域的发展脉络看，多模态大模型已经历了数代演进，AI 在不同阶段遇到了不同的瓶颈难题。
图丨多模态原生4D世界模型基模的演进（来源：受访者）
如果按照我们团队对多模态模型的划分，第一代是以大语言模型 Token 为代表，如 OpenAI 的 ChatGPT 和 Meta 的 Llama 3，主要解决语言理解、推理与对话，但其瓶颈在于互联网语料已基本用尽，难以继续通过原有范式提升。
现在智能体（Agent）从范式上看并没有什么显著的变化，只是在应用和架构上更先进了。以 Anthropic 为例，它现在的一个提升方式是在各种环境中，让智能体做强化学习，比如编程（coding）的环境，这里的编程环境也是一个世界模型。
第二代融合了图像 Token 和文本 Token，典型代表是 GPT Image2.0 和 Nano Banana，实现了图文理解、生图与编辑。第一代和第二代多模态大模型的共同问题是，无法解决物理世界的真实问题。
当前，行业正朝着更复杂的代际迈进。第三代引入了视频 Token，如 Seedance 和 Sora，它们开始处理时间动态与动作连续性，但并没有完全成熟。第四代发展为加入 3D Token，它所关注的是空间结构和物理属性，比如 Trellis.2。
第五代可称为 4D World Token，进一步整合空间、时间、物理与交互，这也是我们团队近期重点的发展方向。AI 是第四次工业革命的核心，它的演进路线很清晰：从理解语言和图像，到最终理解、生成并推演物理世界，并驱动智能体在世界中行动。
DeepTech：过去一年，Dexora、Trellis.2、机器人生成式机械设计等工作都是 Best Paper 级别。很多人会觉得跨度很大，这些成果在整个技术路线中分别承担什么角色？
赵昊：Dexora 是首个原生支持双臂双手高自由度操作的开源 VLA 系统（ICRA 2026 Best Paper Final List）[1]，通过混合遥操流程和判别器加权训练，在灵巧性基准测试中显著优于现有基线模型。通过1万条真机数据，验证了大量的仿真数据可以带来高自由度灵巧手操作。
（来源：https://dexoravla.github.io/）
第二个工作是原生物理光学属性的高分辨率 3D 生成式人工智能（AIGC）基模 Trellis.2（CVPR 2026 最佳学生论文）[2]，它的核心是从原生三维数据中学习结构化的隐式表征，解决了原生 3D Token 的问题。
其中，O-Voxel 表征中不仅有几何的信息，还有所有的光学属性的信息。原生的意思就是指所有的这些几何和光学属性，包括透明度、粗糙度、金属感，还有基础颜色全部都是通过原生的 3D Token 进行编码的。
图丨O-Voxel示意图，以及3D资产与O-Voxel之间的即时双向转换（来源：https://microsoft.github.io/TRELLIS.2）
第三项工作是“Automated Synthesis of Facial Mechanisms for Conversational Animatronic Robots”（RSS 2026 Best Paper Final List）[3]。它是一个生成式的机械设计，其实就是任意给出一个二维的人脸肖像，不仅能够生成它的三维模型，还把里面的机械结构也生成出来。包括尤达大师、精灵、《泰坦尼克号》中的杰克、露丝，还有《白蛇传》中的许仙、白素贞、小青等等。
总体来说，这个系统能自动设计一个个性化、无碰撞的面部机制，并将其转化为可制造的机器人头部，同时生成实时的说话和倾听表情。从一张图片到一个实体的、可对话的机器人面孔，整个过程将专业机械设计时间从 22.8 小时缩短至 11.7 分钟。
（来源：https://github.com/ZZongzheng0918/automated-facial-mechanisms-synthesis）
DeepTech：这些工作看起来分别属于机器人、3D 生成和世界模型，但你一直强调，它们其实都属于物理 AI。为什么今天世界模型会成为连接这些方向的共同底座？
赵昊：即便以语言模型为核心的 Agent，在执行编程等任务时，也需要与一个能够反馈状态变化的外部环境交互；从广义角度看，这类环境具有某些世界模型的功能。
随着中期演化，当前的多模态大模型，无论是视频生成、图片编辑，还是三维、四维生成，仍然无法解决具身智能和自动驾驶所面临的问题，也缺乏对物理人工智能（Physical AI）的感知能力。
因此，世界模型已成为当下的核心主题，领域内也随之涌现出许多新进展。例如，我们的 Dexora 就是利用大规模仿真数据和高精度遥操作数据，训练了面向高自由度双臂双手操作的决策模型。
另一方面，Trellis.2 原生 3D Token，使得下一代及下下一代多模态大模型成为可能。同时，三维 AIGC 也超越了单纯的三维模型生成，进入了物理 AI 阶段，例如可用于生成机械结构。
DeepTech：此前，你们有一系列自动驾驶世界模型工作如 MARS、UniScene、DiST-4D、OmniNWM等。这些成果在论文中已经展示了完整系统能力，但论文结果与客户真正可用的产品之间，通常存在很长距离。在你看来，它们还没走向商业化的原因可能有哪些？
赵昊：有一部分是产业周期的原因，之前还没有到那个阶段，以前自动驾驶的范式相对没有收敛。所以，之前大家也很难让做模型的人用一个统一的方法去 scale up 它。而现在，这些东西都已经把雏形搭好了，基本的原理也都有了。
那为什么还存在距离？因为过去三年，从 2023 年 MARS 发表的时候，到现在 2026 年，这些技术还在不断演进，但现在基本上已经收敛，到了一个可以用持续的数据、算力投入，加上工程团队和客户迭代，把自动驾驶的世界模型给做出来的阶段。
图丨OmniNWM（ECCV 2026）[4]长时序多视角多模态精准控制的可量产自动驾驶世界模型（来源：https://arlo0o.github.io/OmniNWM/）
现在自动驾驶的范式已经比较收敛，是可以 scale up 的时候了。之前没有做延伸，是因为技术没有收敛。如果没有一个确定的方案，方案没有收敛，那么用持续的数据、算力投入、工程团队和客户反馈，可能最后也没有什么实际效果。
DeepTech：你早期研究室内布局、三维场景理解与几何约束，之后进入 NeRF、自动驾驶仿真、4D 生成和机器人世界模型。回过头看，这是一条从一开始就明确的技术路线，还是在视频生成、扩散模型和具身智能兴起后，才逐渐收敛成今天的 4D 世界模型？
赵昊：虽然现在大领域的共识是自动驾驶模型的市场付费意愿还没那么强，但我记得之前有人说过，自动驾驶会是 AI 一个非常重要的 workload。
我们且不说具身智能还在投资期和成长期，真正有人实打实投入资金的方向，就是自动驾驶。自动驾驶要消耗很多算力、很多卡，还有视频生成和编程，这是三个已经比较 solid 的 workload 了。目前，自动驾驶现在还“卡”在 L2.99，必须要有一个大规模量产的世界模型，才可以真正把它推到 L4。
我觉得很有意思，你刚才说的和我在谈话开始时候说过的三维场景理解是一致的。从三维场景理解到三维场景生成基本上是学术界一个正常的转向，所以，也可以说一开始就明确了技术路径。
DeepTech：领域内有没有一些进展，是印证或启发了从三维场景理解到四维世界模型可能会是发展趋势的？
赵昊：有篇论文“Rendering Synthetic Objects into Legacy Photographs”（SIGGRAPH Asia 2011，后发表于 ACM Transactions on Graphics）[5]。它先研究房间布局、场景理解、几何约束，然后再做生成，把物体放进去，本质上就是先做三维场景理解，再做三维或四维的场景生成，这和我们讨论的技术路线完全对得上。
（来源：https://experts.illinois.edu/en/publications/rendering-synthetic-objects-into-legacy-photographs）
这篇论文可以说是我们领域的一个经典，它恰好体现了先理解后生成的思路。你要问我是不是一开始就明确了技术点，那还真是，因为在当时计算机图形学领域顶会 SIGGRAPH，我追随的那些该领域的资深专家走的就是这个技术路线。
后来视频生成、扩散模型和具身智能崛起以后，推动了这一方向的发展，也让人们意识到这件事已经具备了可行性。我第一次真正意识到这一点，是在读博期间读到这篇论文的时候，当时就坚定了从三维场景理解到四维世界模型的发展路径。
DeepTech：世界模型需要长期基础研究，也需要数据、算力、产品和高强度交付。与纯工业界出身的团队相比，学院派如果想推动相关技术或项目商业化落地，真正的优势是什么？
赵昊：这涉及到一个技术、商业项目或产业方向的本质问题。世界上有很多学院派创业，比如软件定义网络（SDN）就是典型，世界模型尤其如此，现在声量最高的杨立昆（Yann LeCun）和李飞飞都是学院派代表。
学院派做商业化和工业团队的商业模式各有不同。举例来说，腾讯和字节是典型的产品驱动型公司，产品好、体验好，微信、抖音、王者荣耀都是把人性体验拿捏到极致的产品。阿里则是一个典型的平台型公司，管理和生态最重要。产品公司的技术当然是核心要素，但产品驱动型公司更多是把成熟技术做到好的体验。
所以如果硬要分类，世界上大概有产品型、平台型和技术型三类公司，AI 显然属于技术型。像 GPT 或语言模型，必然是 OpenAI 这样的全明星科学家团队才能做出来。
当然，产品型公司以前也做过相关尝试，比如苹果的 Siri。在大模型出现之前，它已经通过大量的产品定义和预设问答，在没有大模型的情况下把产品体验做到了极致。所以从 Siri 到 GPT，本质上是从产品型业态向技术型业态的转变。
什么是真正的 4D 原生？
DeepTech：世界模型是近期大家都在讨论的话题，但说法并不一致，比如有生成视频、生成三维场景、训练机器人，还有辅助自动驾驶都号称自己是世界模型，那到底什么是世界模型？
赵昊：世界模型最核心的就是刻画世界的变化。无论是生成视频、三维场景，还是在其中训练机器人、做自动驾驶，本质上都是在刻画世界的变化。
至于 State 用什么方式来表达，其实有很多种形式，它可以包括语言模型在编程环境中的状态变化，AlphaGo 下围棋时的棋盘向量，生成图片可以理解为用离散的二维图像状态来刻画变化，视频则是通过视频 Token 的变化来体现，三维的、四维的都是世界模型，联合嵌入预测架构（JEPA）本质上也是一维的世界模型。
所以，世界模型的定义很清楚：刻画从 State t 到 State t+1 的变化，只是不同模型采用的状态维度不同，有的是一维、二维，有的是三维、四维。它们最核心的区别在于，如果采用一维或二维的 Token，天然缺乏四维物理世界所需的表征，包括物理属性和光学属性，因此很难真正刻画世界的变化。
神经网络的可解释性本身就很差，如果用一维 Token 去表达世界变化，既难以解释，也难以修正。二维视频生成也经常遇到不符合物理规律的问题，但由于表征本身就是二维的，出了问题也“束手无策”，网络本身就是个黑盒。
所以，要真正解决物理 AI 的问题，包括自动驾驶、具身智能以及物理真实的游戏和影视，还是需要四维表征才能真正解决这些问题。关键就在于，四维表征更可解释、更明确、更可依赖，这是其他维度无法替代的。
DeepTech：为什么三维场景加上一个时间轴，还不能算团队所定义的物理原生 4D 世界模型？第四维除了时间之外，还应该包含什么？
赵昊：从本质上来看，世界模型的物理属性主要分为热学属性、电磁学属性、光学属性和力学属性，我们现在主要关注的是力学属性和光学属性。但电磁学也很重要，比如无人机的世界模型就需要关心电磁学和反无人机的问题；热学属性同样关键，它关系到自动驾驶车辆和机器人的散热。
纯三维场景加一个时间轴，其实只是 3.5D 的世界模型，而不是真正的 4D。因为每一帧之间没有通过光学和力学的变化建立联系，每一帧都只是一个独立的三维场景，你并不知道每个点的受力、速度和动量。
只有把力学属性如杨氏模量、密度、动量、受力等都刻画进去，才能让时间轴上的每一帧真正关联起来，形成完整的、4D 原生的世界模型表达物体状态、身份和运动轨迹。
非 4D 原生的模型，比如 3D 模型或视频模型，并没有刻画这些东西。必须要包含物理属性，其中热学和电磁学我们暂时还没深入，光学和力学才是当前的核心。没有这些属性，就只是一个 3.5D 的模型。
DeepTech：你和团队提出 4D World Token，为什么要把连续的物理世界 Token 化？
赵昊：首先三维世界、三维模型本身都是连续的，Token 化的。比如 Trellis.2[2]也是有一个变分自编码器（VAE），然后在一个网格上，把三维模型变成三维 Token，然后再去做生成。
其次，视频模型其实也是 Token 化的，无论是 Seedance、Sora 还是万象，它其实都是有一个 VAE，把它变成视频 Token，图片也同样会把这个东西变成 Token 的。所以，语言模型变成 Token 化这件事，是现代多模态大模型的一个惯例。
我认为，除非量子计算、神经拟态计算这些新的计算机架构能有突破