世界模型概念仍无共识,朱军团队提出通用世界模型五级路线

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线

N
News Editor
2026-09-11 02:56:12
围绕「世界模型」到底是什么,AI 领域至今没有统一定义。李飞飞与 World Labs 将其分为渲染器、模拟器和规划器,LeCun主张在抽象潜空间学习可预测的世界结构,清华大学朱军团队则从第一性原理提出「理解、想象、行动」三项核心能力,并给出从 L1 到 L5 的五级演进路线。论文同时讨论了视频生成、实时交互、机器人控制、数据金字塔、MoT 架构以及 Motus2 的闭环自进化路径。

2026 年,「世界模型」仍是 AI 领域最缺乏统一定义的概念之一。

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线 2

连续生成一段视频的模型,会被称作世界模型;一个能随键盘和鼠标操作实时变化的数字环境,也会被称作世界模型;在潜空间中预测未来状态的系统,或直接输出机器人动作的策略,同样被放进这个名称之下。它们都在处理关于世界的信息,但能力边界差别很大。逼真的视频画面未必遵守真实物理规律;机器人完成一次抓取,也可能只适用于实验室里固定的物体、机位和动作轨迹。仅凭 Demo,很难判断一个系统学到的究竟是视觉相关性、物理结构,还是行动与结果之间的关系。

这种概念混杂,直接提高了技术判断的难度。画质、几何精度、预测能力和任务成功率经常被放在一起比较,不同团队看起来像在竞争同一赛道,实际回答的却可能不是同一个问题。研究因此回到一个更基础的问题:一个模型究竟需要具备哪些能力,才能从生成内容走向理解世界并改变世界。

三种代表性解读

李飞飞和 World Labs 按功能把世界模型划分为三类:渲染器、模拟器和规划器,分别输出像素、世界状态与动作。

LeCun 的主张则不同。他强调在抽象潜空间中学习可预测的世界结构,只保留对理解、推理和规划有用的信息。

清华大学朱军给出了第三个角度。去年 12 月 Motus 发布时,他曾公开阐述「通用世界模型」的整体构想;今年 3 月,他又将其定位为连接数字世界与物理世界的基础。几个月后,朱军及团队在论文《General World Models from First-Principles》中继续完善这套框架,从第一性原理定义核心能力,并提出一张五级进化路线图。

按照这篇论文的归纳,通用世界模型的核心能力包括理解、想象和行动。模型需要从历史观测中形成对当前世界的判断,推演不同选择可能带来的未来,采取行动,再用新的观测不断修正自身。沿着这一框架,视频生成、实时交互、潜空间预测和机器人控制,都可以被看作同一条能力路线上的不同阶段。

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线 3

这样一来,「世界模型距离通用智能还有多远」也被拆解成更具体的问题:系统能否维持一个连贯的世界,能否预测干预带来的结果,能否从真实反馈中学习,又能否逐步形成目标并组织更复杂的行动。

从骑自行车理解第一性原理

文章用很多人学骑自行车的经验来解释世界模型最朴素的含义。初学时,身体会左右摇晃。看到车把偏向一侧,感觉重心下沉,人会立刻调整方向,再根据新的反馈继续修正。练习多了,大脑会逐渐学会预判一个动作将带来什么结果。

这套逻辑在学术上并不新。1943 年,Kenneth Craik 提出,人类会在头脑中形成关于现实的「小尺度模型」,借此推演不同行动可能产生的结果。强化学习里的 POMDP 进一步描述了这一过程:智能体接收局部观测,估计世界状态,采取动作,再根据新的观测更新判断。

朱军团队据此把通用世界模型概括为三项相互衔接的核心能力:

  • 理解(Understanding):把视觉、语言、声音、触觉或机器人传感器等信息整合为对当前世界的内部判断;
  • 想象(Imagination):从当前状态推演多个可能未来,尤其回答「如果采取动作 A 而不是动作 B,结果会怎样」;
  • 行动(Action):把预测转化为对数字或物理环境的干预,并用行动后的新观察来检验和修正模型。

这三项能力构成一个持续更新的闭环。理解负责推断当前状态,想象负责预测未来,行动改变世界,并为下一轮理解提供新的证据。

这也是为什么,视频生成并不等于世界模型的全部。视频模型可以回答接下来画面可能会怎样变化,但如果要走向通用世界模型,它还需要回答「如果我改变条件、移动物体、施加动作,世界会怎样不同」。只有带有行动条件的预测,才真正触及因果、反事实和可执行决策。

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线 4

五级路线:从生成世界到组织世界

为描述世界模型如何演进,朱军团队提出了五级路线图:从 L1 生成世界、L2 交互世界、L3 在世界中行动,逐步走向 L4 自主世界智能体和 L5 世界组织者。

文中用一只被推到桌边的玻璃杯举例。L1 模型可以生成杯子滑落、撞击、碎裂的连续画面;L2 模型在用户修改视角或推动方向后,仍能让这个世界继续演化;到 L3,模型不仅要判断杯子会不会掉下去,还要预测伸手是否来得及,并输出机器人真正可执行的抓取动作。只有行动发生后,它才知道自己对杯子重量、摩擦和抓取时机的判断是否正确。

更高一级的 L4,不再只是等待人类发出指令,而是要能发现风险、主动观察、补充信息,并在失败后修正策略。L5 则面对多主体协作问题,包括谁去抓杯子、谁负责避障、谁来调配工具,以及环境变化后如何重排任务。

这一演进框架把「世界模型」从一个宽泛名词,变成一组可以逐级检验的问题:

  • L1 关注生成轨迹是否连贯;
  • L2 关注世界能否持续响应;
  • L3 关注模型能否改变物理环境;
  • L4 关注系统能否主动探索并持续学习;
  • L5 关注它能否在开放环境中组织多主体协作。

论文判断,现有系统已经触及前三个层级,L4 和 L5 仍是开放问题。主要缺口包括因果与物理接地、持久记忆、在线学习、高效部署和安全控制。评测标准也不能只看生成效果,还需要比较预测与真实结果,并考察模型在陌生任务、陌生环境和不同本体上的迁移能力。

视频与机器人:同一个假设的两次验证

文章指出,世界模型的难点不只在算法,也在数据。

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线 5

互联网视频规模巨大,覆盖了大量物体、人物、场景和运动,模型可以从中学习空间结构、物体持续性、人类行为以及事件通常如何发展。但视频很少同步记录造成变化的动作、力量和意图。机器人轨迹则能把观测、动作和结果直接串起来,不过采集成本高,也更容易绑定具体硬件和特定任务。

朱军团队提出的做法,是把这两类数据放进一座从观察走向行动的数据金字塔。底层是互联网规模的视频,用来获得世界知识和动态先验;向上依次是领域视频、第一视角人类视频、带动作记录的人类示范;最顶层是真实机器人交互数据。层级越高,数据越稀缺、成本越高,但动作、任务与机器人本体之间的对应关系也越明确。

这也解释了为什么生数科技会同时推进视频生成和具身智能。视频提供世界知识的广度,机器人数据补上行动接地。

在数字世界一侧,Vidu 系列持续探索对视觉世界的生成与交互。视频不是世界模型的终点,但可以作为重要起点,让模型在大规模时空变化中学习对象、场景、运动和事件如何演化。Vidu S1 则把一次性生成推进到实时响应,允许用户输入持续改变后续内容,用来测试模型能否在交互过程中保持状态连续。

在物理世界一侧,Motus 与 Motubrain 把环境理解、状态预测和机器人动作接入同一条链路。模型需要先看清环境,再预测干预带来的结果,随后将判断转化为可执行动作,并接受真实结果的检验。

这样,两条产品线就成了对同一个世界模型假设的两次验证。数字环境检验模型能否理解并想象世界,物理环境则检验这些知识能否支持行动,并在反馈中得到修正。

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线 6

MoT 架构试图统一多模态计算

如果要让数字世界与物理世界两类验证共享底层能力,图像、视频、语言和机器人动作就需要围绕同一个世界状态协同计算。传统模块化系统逐级传递信息,容易在接口处损失几何、时间和不确定性信息;如果所有模态完全共享参数,又可能产生训练冲突,让海量视频数据压制稀缺的机器人信号。

为此,朱军团队提出了 MoT(Mixture-of-Transformers)架构,试图在两者之间取得平衡。不同模态保留各自的专家参数,再通过共享注意力机制交换上下文。视觉告诉模型环境里发生了什么,语言提供目标和约束,动作带来对环境的干预,三类信息共同更新模型对世界的判断。

不过,MoT 只是为统一计算提供基础。物理规律、跨本体迁移、实时推理和安全控制,仍然要依赖数据、训练方法和系统工程继续解决。论文给出的方向很明确:通用世界模型需要一个可被不同模态共同读写、并且持续更新的世界状态。

Motus2:把策略、模拟、评估和反馈放进同一闭环

如果说 Motus 与 Motubrain 已经把生数的世界模型探索推进到 L3,让机器人能够根据环境理解和未来预测生成动作,那么近期提出的 Motus2,则在此基础上继续加入结果评估与策略反馈,尝试让行动闭环具备自我改进能力。

Motus2 没有把动作生成、未来模拟和结果评估拆成三套彼此独立的系统,而是采用一套共享参数的视频—动作模型,并暴露出三种控制接口:

  • 策略(Policy / World-Action Model):提出可以执行的候选动作;
  • 模拟器(Simulator / Action-Conditioned World Model):预测这些动作在视觉世界中可能造成的后果;
  • 评估器(Evaluator / Value Model):判断哪一种结果更接近任务目标,并将这一判断用于选择和改进。

按文章的描述,这相当于让机器人在真正动手前,先在自己的世界里试一遍。系统不再是在看到物体后直接输出动作,而是先提出几种候选方案,在模型内部预演各自可能带来的画面和任务进度,再选择其中更优的一步。动作执行之后,成功、失败以及效果不理想的结果,也不再只是被动积累的数据,而会成为下一轮动力学建模和价值学习的依据。

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线 7

动作、预测、评估、反馈和再行动由此进入同一个决策与学习回路,这也是 Motus2 强调的闭环自进化。

在数据侧,Motus2 采用分层训练路径,从单目第一视角视频扩展到同步双目第一视角数据,再通过机器人数据完成本体适配。训练数据包括约 13 万小时的人类第一视角记录,以及超过 100 小时的机器人轨迹和人机对齐数据。文章给出的解释是,先让模型累积关于人如何与世界互动的共同经验,再让它通过机器人数据学习这具身体如何把理解转化成动作。

在执行侧,Motus2 还加入独立的轻量触觉专家,用于对即将执行的短动作进行细化,并预测接触后的力反馈。视觉擅长识别物体位置和世界的大致变化,触觉则补上接触发生时最困难的「最后一厘米」,让模型在「看得见」之外,对压、碰、抓、旋等细致操作多一层即时校正。

文章也指出,Motus2 仍处在从 L3 向 L4 延伸的阶段。当前验证主要集中在特定机器人和操作任务上,自主目标形成、持久记忆、开放环境泛化、长期在线学习与安全控制,仍有待继续探索。

从概率学习到世界智能

这套通用世界模型框架,也延续了朱军及清华 TSAIL 长期积累的研究方向。文章提到,朱军教授长期关注贝叶斯方法、概率机器学习、生成模型与强化学习,这些方向分别处理不确定性、数据分布、未来生成和行动决策。

TSAIL 也培养并影响了一批进入全球前沿团队的研究者。宋飏在本科阶段曾与朱军合作开展贝叶斯学习研究,宋佳铭本科期间也参与过相关工作,之后分别在得分生成模型和 DDIM 方向产生重要影响。

世界模型概念仍无共识,朱军团队提出通用世界模型五级路线 8

从概率建模到生成与决策,这条学术脉络也映照出 AGI 发展的两类入口:一类从语言出发,逐步增强推理、工具调用和任务执行能力;另一类从视觉与动态世界出发,继续走向实时交互和具身行动。

放在中国 AGI 产业版图中,文章认为智谱与生数可以视作两条路径的代表。智谱从语言模型出发,持续增强推理、Coding 和 Agent 能力;生数则从视频生成出发,继续延伸到实时交互、具身行动和策略优化。两条路线也在相互渗透。语言 Agent 需要视觉反馈和环境模型,世界模型则需要语言表达目标、规则与计划,不同入口最终都指向对语言、世界状态与行动的共同建模。

争论的重心正在变化

文章最后指出,世界模型之间的竞争,最终会从 Demo 带来的直观震撼,转向系统承受反馈的能力。画面可以形成可信的第一印象,几何与物理决定这个世界能否被反复使用,行动则把模型的判断真正带入现实。一次预测是否成立,要等干预发生后才能验证;一次任务是否成功,也必须放到陌生场景、长期运行和持续变化中检验。

朱军团队的论文并没有给这场争论写下最后答案,但提供了一组能够继续检验的问题:模型究竟理解了什么,能够想象多远,行动之后又能否修正自己。

过去十年,AI 的关键进展来自对语言和数据中规律的学习。文章认为,下一阶段模型要面对的是持续变化的环境。只有当模型能够在这样的环境中不断形成判断、承担行动后果并持续学习,「世界模型」才会从一个拥挤的技术名词,逐步成为通向通用智能的基础。

本文来自微信公众号「机器之心」(ID:almosthuman2014),作者:杨文。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
200

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。