憋了整整两年多,百度终于亮出了自己的重磅杀手锏!


今天,百度Apollo正式发布了「ApolloWorld」——首个面向物理AI的Agent驱动全模态世界模型。


它直接把整座城市的路网、多模态传感器和车流博弈搬上云端,支持毫秒级实时交互与连续几十分钟的完整接单推演,一举打破了以往世界模型只能模拟「几十秒孤立片段」和「单向放录像」的瓶颈。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


有了这个虚拟「大考场」,无人车在云端平均可做到「日行十万公里」。


1天跑完的虚拟里程,顶得上1辆配安全员的真车连续测试约3年,把自动驾驶测试效率提升了数百倍!


靠着ApolloWorld在云端24小时陪练,萝卜快跑L4级全无人端到端大模型如今已正式上车。


上百辆无安全员真车,每天靠端到端大模型上街跑单——全球能做到这一步的,只有它和特斯拉两家。


最关键的是,云端特训出来的成绩,真上了路确实能打。


这次我们在深圳街头实测打车,就被这位没有安全员的「AI司机」秀了一把什么叫老练——


大晚上视线不好的路段,左边快车道突然冒出黑衣路人占道、右侧又挤满单车与电瓶车,或是路口左转时外卖骑手从车头前1秒闪过……


换作是新手司机早就慌了,但无人车总能提前预判、平顺减速让行;遇到夜间多车流掉头或窄道连续避障时,绕行与会车更是丝滑得像十年驾龄的「老司机」。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


全球唯二,百度抢先交卷!首个物理AI世界模型来了


全球唯二,百度抢先交卷!首个物理AI世界模型来了


世界模型赛道火热

光会「拍电影」可救不了无人车


能让无人车在街头把复杂路况处理得如此老练,很大程度上正是得益于世界模型在幕后的高强度特训。


最近一个多月,全球世界模型赛道热闹非凡。从李飞飞团队World Labs的三维空间模型,到谷歌DeepMind的Genie系列,再到Waymo基于Genie 3推出的自动驾驶世界模型——甚至把龙卷风、洪水和大象都放进了虚拟测试场。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


如果只是生成一段酷炫的街头视频,看着确实过瘾;可要是拿来给L4无人车当训练场,就不够用了。


原因在于,目前市面上大多数吸引眼球的演示,其实还停留在「视频渲染器」阶段,虽然镜头在变、风景在动,但外面的世界并不会因为你的动作发生改变。


大会现场,百度智能驾驶事业群组首席架构师、技术委员会主席王亮博士称,世界模型不能只做「生成炫酷视频的画师」,更要成为验证无人驾驶安全性的「考官」。


因此,百度这次没有去拼单纯的画面特效,Apollo World从一开始就瞄准了能互动、能推演路况变化的「世界模拟器」,专门给无人车造云端训练场。


之所以必须跨过这道坎,是因为无人车开上街头,面对的是容错率极低的真实物理世界。


家务机器人在屋里叠衣服、做饭,就算失手把碗摔了,大家最多一笑而过;可一台近两吨重、时速几十公里的汽车开在马路上,一旦遇到行人突然横穿或旁车加塞,根本没有试错的余地。


因此,用来训练无人车的世界模型,不能只是单向放录像的「电影院」,而必须像一场随时接戏的「舞台剧」——你稍微减速,旁边的车立马插进来;你往前探出半个车头,对方可能就踩刹车让开了。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


想在真车上路前把罕见险情全部练熟,百度的解题思路正是「用AI训练AI,让AI教AI开车」:


  • 车端的「学生」:装在无人车上的萝卜快跑新一代L4端到端AIDriver基础模型(ADFM),直接输入多模态传感器信号并输出驾驶轨迹;
  • 云端的「AI教练」:具身世界模型ApolloWorld,专门负责在云端构建闭环仿真环境,给学生出题、陪练和打分。


训练时,「教练」会生成逼真的街景与雷达点云,并根据「学生」每一次打方向或踩刹车的动作,实时推演周围车流的下一步反应,一秒接一秒地闭环过招。


一旦「学生」在某个罕见险情里反应慢了或发生擦碰,「教练」马上就能抓出短板,变着花样生成上千道同类长尾难题反复特训,直到彻底练成「老司机」再装上真车。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


相比之下,目前主流的世界模型大多聚焦于静态3D空间漫游、局部场景模拟或单一视觉推演。


而Apollo World则成为了业内首个同时打通「全员独立Agent交互博弈、相机与点云全模态同步生成、城市级完整订单闭环」的L4实战训练场。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


三关实测现场验货

暴雨天点云减半、连鬼探头都能实时过招


在这座云端虚拟城市里,旁车随时可能变道加塞,路口会突然冲出外卖电瓶车,现实街头最让人头疼的复杂路况,24小时不间断地换着花样给无人车出题。


王亮博士表示,「开放世界容错空间几乎为零,安全决策周期要严格限定在1/30秒内」。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


如今「世界模型」这个词被用得越来越泛,却始终没有统一的定义。


为了衡量这个训练场到底好不好用,也为了把这个新概念真正「做对」,百度坚持想清楚再动手的正向设计思路,先提出了一套世界模型「2+3」标准。


其中,前两项「2」是区分「视频生成器」和「真世界模型」的基石门槛:


  • 因果性:基于因果自回归机制,严格遵循时间单向性,只能根据过去和当前状态推演下一秒,不能提前预知结局再倒推画面;
  • 交互性:支持动作条件生成(Action-Conditioned),无人车每次打方向或踩刹车,周围车流都得跟着实时改变。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


跨过这道门槛后,后三项「3」则是检验L4训练场的实战指标:


  • 物理准确性:严格符合真实的光学成像与车辆力学规律;
  • 持久性:能连贯跑完几十分钟的完整行程,长时不断片;
  • 实时性:实现毫秒级响应,推演速度跑赢驾驶系统的决策时间。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


全球唯二,百度抢先交卷!首个物理AI世界模型来了


这套「2+3」标准放进实际路测里,对应的正是物理规律、车流博弈和长途连贯性三道关卡。不妨结合实测画面,逐一看看ApolloWorld的表现。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


不搞「表面滤镜」,雨天打滑和水柱冲锥桶都得算准


第一关先测物理常识,看它只是给画面加了层滤镜,还是真的懂现实世界的物理规律。


把同一段城市道路依次切换成晴天、暴雨、雪天和夜晚,最明显的变化就在激光雷达点云图里。


一旦切到暴雨模式,不光摄像头画面有了积水和反光,激光雷达点云也因雨水散射一下子少了一大半,连左前车后轮溅起的水花和前车后方的激光无回波区都清晰可见。


切到雪天时,路边的落叶树会自动掉光绿叶;到了夜晚,车辆连续驶过路灯时,车身下的阴影还会随着光源位置周期性拉长与缩短。


工程师并没有在代码里写任何光学或自然公式,全是模型学习超10亿帧真实数据后,自己摸清了这套物理规律。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


雨天路滑还会直接影响刹车距离。两辆无人车以同样的速度同时踩下刹车,晴天干地上的车稳稳停在前方货车后,雨天湿滑路面上的车则会继续往前滑出一段距离才停下。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


在真实路测中还曾遇到过这样一幕:洒水车喷出的高压水柱把路边的锥桶冲到了马路中间,正好挡在无人车正前方。


传统模拟器里的锥桶固定不动,根本算不出这种意外;而懂物理规律的ApolloWorld却能把「水柱冲走锥桶」的全过程推演出来,专门训练无人车遇到突发障碍时及时避让。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


告别「重放录像」,让整条街的车活过来陪练


过了物理细节这一关,第二关要面对的,则是路上随时变主意的其他车辆和行人。


传统的仿真测试大多采用「实车日志回放」,也就是把真车录下的历史数据重放一遍。一旦无人车临时决定提前变道,录像里的旁车根本不会配合,还是照着原来的死路线往前开,测试结果自然就失真了。


为了让周围环境真正响应无人车的动作,ApolloWorld构建了「智能体驱动(Agent-Driven)」的推演架构,把场景里的每一辆车、骑手和行人都建模为具备独立感知与决策能力的AI智能体。


测试人员还能在系统里直接调高车流密度或旁车抢道的激进程度,实时生成不同风格的交通博弈分布,主动给无人车增加考试难度。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


比如在高架匝道口,如果无人车选择驶上高架、给右侧留出足够空间,支路上的白车就会顺势汇入主路。


而如果无人车改走地面辅路,右侧白车看到会车空间不够,就会主动停在支路等待。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


在一场路口骑行者「鬼探头」的高压测试中,一名骑车人突然从路侧视线遮挡处猛冲出来,无人车第一时间急刹停住。


更有意思的是,这名骑车人看到车头近在咫尺,竟然像真人一样往后退了一小步,主动让出安全距离,随后无人车才重新起步。


而在另一组测试里,骑车人只是顺着路边平行骑行,无人车便不再猛踩刹车,而是稍微减速后平顺通过。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


告别「几十秒短片段」,在香港虚拟城一口气跑完一整单


光能躲过单次险情还不够,真实打车往往要连续跑上几十分钟,前一个路口的变道选择,会直接改变后面整趟行程遇到的路况。


这就引出了第三道关卡——长时间连续推演的稳定性和实时性。


以往行业里的世界模型大多只能模拟几十秒的单一独立场景,一旦拉长到跨路段的连续行驶,画面细节和道路结构就容易发生漂移甚至崩塌。


而Apollo World则支持无人车在虚拟城市任意起终点之间连续行驶十分钟以上,一口气跑完从接单、载客到送达的完整行程。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


在实测中,4辆虚拟无人车从香港机场附近的万豪酒店同一个起点出发,分别开往航站楼、购物中心、机场行政大楼和停车场4个不同目的地。


前半程路线相近,过了岔路口后则拐进不同道路,各自面对不同的红绿灯和车流,最终全都平稳跑完了整趟行程,画面从头到尾没有崩塌。


全球唯二,百度抢先交卷!首个物理AI世界模型来了


在同一条路线上,系统还能同时设置低、中、高三种不同密度的车流进行倍速并行测试。


车流稀疏时无人车快速通行,车流密集时则耐心跟周围车辆博弈汇入,充分检验早晚高峰等不同路况下的连续通行能力。


<