视频生成模型近年在清晰度、时序一致性和可控性上进展很快。输入文本、图像、相机轨迹或玩家动作后，模型已经可以生成连贯的后续画面，「可交互视频世界」也开始从概念走到可观看、可操作的原型。
不过，能把画面续下去，不等于能真正运行一个世界。画面里的位移和碰撞，只是交互最直观的一层。更复杂的环境里，角色有目标、身份和关系，事件受规则约束，还会留下跨越更长时间的因果结果。很多状态甚至发生在镜头之外，但仍会影响后续剧情和行动。只靠局部像素去预测下一段观察，很难显式维护这些高层语义。
研究团队认为，复杂世界首先需要回答「为什么会这样变化」。目标、规则、记忆和因果链条，通常无法从当前一帧直接读出，却决定了世界下一步该怎么演化。语言模型在知识调用、推理、规划和编程上的能力，更适合处理这类低频但复杂度高的决策，再把决策落成可执行规则。
另一点是，游戏视频本身并不是世界，而是程序执行后渲染出来的像素投影。当前阶段，游戏和模拟器仍是视频世界模型最主要的可交互数据来源。如果只保留动作与像素，再让视频模型直接学习两者之间的映射，等于绕过原本存在的程序、规则和显式 world state，转而要求模型从视觉结果里反向拟合整套程序行为。研究团队认为，这样的学习路径效率不高，也把「世界如何推演」和「世界如何呈现」塞进了同一个模型。
基于这一观察，西湖大学 AGI Lab 与南洋理工大学的研究团队提出了 Code World Model。这是一种以语言模型为「大脑」的世界模型范式。核心思路是让 coding agent 持续编写、调用和修改 code，维护并更新可执行的 world state，再把与当前观察相关的状态转换成 proxy，用来指导 video model 生成细致画面。
论文链接为 https://arxiv.org/abs/2608.25927，项目主页为 https://buaacyw.github.io/cwm/，代码仓库为 https://github.com/buaacyw/code-world-model。
Code World Model 如何分工
在这套方案里，语言模型并不替代视频模型。Code World Model 重新划分了两者职责：知识、目标、规则和长期因果交给 coding agent 与 code；外观、运动细节、光照和纹理由 video model 负责。前者决定世界里发生什么，后者决定这些内容最终看起来是什么样。
论文中的图 1 给出的核心分工是：coding agent 通过 code 演化 world state，proxy 将相关状态转换为视觉条件，再由 video model 生成最终画面。
方法概述：agent、code 与 video model 三段衔接
围绕这套分工，Code World Model 把世界运行过程拆成三个彼此连接的部分。
- coding agent：理解玩家意图和新事件，调用世界知识，推理潜在后果，再决定要执行、组合或修改哪些机制。
- code：以更高频率执行位置、属性、碰撞、冷却和事件触发等确定性更新，把高层决策转成可检查、可复用、可持续运行的规则。
- video model：读取演化后的状态条件，利用大规模视觉数据里学到的外观、运动和交互先验，生成带有纹理、光照和局部动态的视觉观察。
这种分工也对应不同计算频率。coding agent 只需要在出现新目标、复杂事件，或现有机制不足时做稀疏决策；一旦决策被写进 code，程序就可以持续完成密集的状态更新。
更关键的是，coding agent 改写的不只是某个时刻的数值，也可以改变此后世界遵循的运行方式。
图 2 展示了 Code World Model 的总体框架。论文提到，完整构想包含视觉反馈，而当前原型重点验证的是 coding agent / code → world state → proxy → video model 这条前向链路。
proxy 如何连接可执行状态和视频生成
职责拆开之后，还剩一个接口问题：coding agent 与 code 维护的是可执行状态，video model 接收的却是文本、图像或视频 token。两者之间需要一种既容易由程序构造，又能提供逐帧空间约束的共同语言。
结构化文本虽然足够灵活，但很难稳定描述每一帧中的实体位置、相对关系、运动轨迹和精确相机变化；如果完整构建并渲染 3D 世界，控制会更强，却会重新带回资产、几何、材质、动画和渲染管线的高成本。
这项工作因此引入了 proxy。它从 world state 中提取当前观察真正需要遵循的信息，并组织成粗粒度视觉表示。一个轻量、确定性的编译器把 proxy 渲染成 proxy video，再和结构化文本一起输入 video model。
文本负责说明「是谁、是什么、要做什么」，proxy 规定「在哪里、怎样移动、镜头怎样拍」。
proxy 可以表达相机与视角、实体位置和朝向、尺度与轨迹、场景布局和遮挡，以及当前交互需要的粗粒度状态；纹理、材质、精细光照和完整局部运动则刻意留给 video model。论文把这条原则概括为：只保留当前观察所需的最小充分状态，在控制能力与状态编码成本之间取得平衡。
当前实现中的 proxy，宽和高都只有目标视频的四分之一，像素量大约是目标的 1/16。它由简单、可复用的几何 primitive 组合而成，不需要 production-quality 资产，但可以提供逐帧、可编辑的时空骨架。
训练数据来自游戏运行时记录
要让 video model 学会理解 proxy，训练样本需要同时包含 proxy video、结构化文本和目标 RGB 视频，而且 proxy 与 RGB 在时间、相机和实体身份上都要严格对齐。
研究团队指出，游戏运行时记录天然保留了这种对应关系。他们从同一次 gameplay execution 中同步记录 RGB、相机状态、实体身份、位置与朝向、近似尺度、场景布局和交互状态，再通过 code 离线编译 proxy。因为两者来自同一次执行，所以每一帧都能建立一一对应，跨帧身份也可以稳定映射。
图 3a 展示了游戏数据中的目标 RGB（上）与同帧 proxy（下）；图 3b 展示了真实视频中的目标 RGB（上），以及利用相机标定、3D 重建和物体标注离线构造的 proxy（下）。
论文使用的 gameplay 数据包含 157 段录制，总计约 5.6 小时源视频。研究团队以 2 秒间隔采样，得到 9,420 个 5 秒训练片段；每个 RGB 目标包含 124 帧，分辨率为 1344×768、帧率为 24 FPS；对应的 proxy 同样包含 124 帧，分辨率为 336×192，并结合 fixed-log depth 与 categorical semantic-ID map。
同一份运行时记录还可以被重新编译成覆盖范围和信息粒度不同的 proxy，不需要重新录制 RGB。
论文还在 KITTI-360 上展示了真实视频 proxy-observation pair 的离线构造流程，用来说明这套接口向真实数据扩展的可能性；当前 video model 的适配仍只使用配对的 gameplay 数据。
原型系统的训练与推理配置
当前原型采用 MiniMax-H3 的 Ref2VA backbone 作为 video model，对全部 50 个 transformer block 进行 rank-128 LoRA 适配，可训练参数约为 5.96 亿。训练使用 8 张 NVIDIA H800 GPU，共完成 3 个 epoch、3,534 个优化步骤。
推理阶段由 GPT-5.6 Sol 担任 coding agent。系统向其提供基础玩家控制、碰撞处理、运行时更新循环、现有 game-engine scene 与 gameplay logic 模板，以及训练阶段使用的 proxy primitive。coding agent 可以组合、扩展和改写这些 code，构造简单、可执行、可由玩家控制的世界；其中粗粒度 3D 几何只用于表达 proxy，并不直接作为最终画面。
对于每个 5 秒片段，GPT Image 2 根据首帧 proxy 与文本生成 appearance anchor；MiniMax-H3 再结合首帧、完整 proxy sequence 和文本，生成 124 帧、1344×768、24 FPS 的 RGB 视频。
更长的视频则通过带有 34 帧重叠的滑动窗口生成。后一个窗口继承前一窗口末尾的 RGB context，并复用同一个 appearance anchor，以维持局部连续性和整体身份外观。
实验结果：proxy 固定骨架，video model 补全外观
论文给出的定性结果显示，即使 LoRA 适配只使用约 5.6 小时 gameplay source video，模型在角色、环境和风格明显偏离训练外观的情况下，仍能遵循 proxy 指定的人物位置、动作轨迹、场景布局和相机运动，同时补充纹理、光照和局部动态。
图 4 展示的是 proxy 提供人物位置与动作轨迹，video model 再把同一粗粒度骨架呈现为不同身份和画风的角色；图 5 展示的是简单几何 primitive 对复杂物体与相机运动施加约束。两组图片均为上方 proxy、下方生成结果。
论文举例称，同一种 coarse human primitive 可以被呈现成身份和艺术风格完全不同的角色；wireframe 或 box 可以约束车辆、船只及其他复杂物体的位置和大致运动；同一套 proxy interface 还可以表达奔跑、舞蹈、游泳、坠落和相机环绕。
这也意味着，proxy 固定的是当前观察必须遵循的时空骨架，而不是训练游戏里的资产和画风。
项目主页还给出了与 action-conditioned 或 camera-conditioned video world model 的视频对比。文章说明，这组比较关注的是控制粒度与视觉结果：proxy 直接提供逐帧实体运动和视角变化，因此能施加更细粒度、更直接的时空约束；论文没有把这组结果表述为 inference latency 对比。
Tim Sweeney 围观网友讨论
在相关讨论中，有网友评论称：「虚幻引擎 6 会是最后一个用传统 3D 方法创造游戏的引擎吗？或许虚幻引擎 7 就会用类似的技术方案了。只有虚幻引擎 CEO Tim 知道答案。」
随后 Tim 也在评论中回应：「我也不知道！」
研究团队的结论
文章最后写道，过去的视频世界模型主要学习的是「观察如何继续」。Code World Model 则把问题往前推了一步：在生成下一段观察之前，先维护世界当前是什么、遵循哪些规则，以及一次事件的后果为什么会持续存在。
研究团队认为，一个真正开放的生成世界，既需要视频模型的视觉生成能力，也需要能够维护知识、目标、规则、关系与因果后果的执行机制。Code World Model 的核心被概括为一句话：让 code 决定世界中发生什么，让 video model 决定这一切看起来如何。
参考资料为 https://arxiv.org/abs/2608.25927。原文来自微信公众号「新智元」，作者为新智元，编辑为 LRST。