世界模型与视频预测：我之前想错了什么

Genie 4的演示一出来，我的第一反应和看到Sora时一样：这是个非常好的视频生成器，为什么要叫它世界模型？花了一天时间研究这些片段，并阅读了比我聪明的人的评论，我的看法变了，也让我想起自己在构建和评估世界模型的仿真工作中犯过的三个错误。这不是对DeepMind发布内容的评测，而是我用惨痛代价换来的经验教训：预测视频和模拟环境到底有什么区别。这些演示很容易让人把两者混为一谈。

第一课：世界模型是状态转移函数，而不是电影

我在很长一段时间里犯的错误，也是我在大多数针对Genie 4的热评中看到的错误，就是用评估视频生成的标准来评估交互式仿真。输入提示词，输出片段，然后我们评判保真度、运动流畅度、提示词遵循度，就结束了。这套标准完全抓不住所构建东西的核心。

视频生成器学的是p(frames | prompt)，世界模型学的更接近p(next_state | current_state, action)。这个区别听起来很学术，直到你认真琢磨它。在视频预测中，播放时你做什么都不会改变任何东西，根本没有“你”这个角色。而在世界模型中，智能体（或者用键盘操作的用户）会在每一步注入动作，模型必须以此为条件进行生成。一旦允许交互，你就从生成式艺术问题进入了带有控制理论色彩的问题：系统必须对从未见过的输入做出响应，处理它自行漂移进入的状态，而且要无限持续下去。

这就是为什么Genie 4的键盘导航和场景中途的文字引导，比它的照片级真实感更重要。在这一代模型中，真实感只是入场门槛，Sora 2和Veo 3早就跨过了这道线。实时动作条件化才是真正的研究贡献：按下一个键，世界因果性地做出反应，并且持续保持连贯。当我看到有人只根据画质给演示打分时，就像在用窗户好不好看来给飞行模拟器打分。

要消除这种混淆，实用的办法是：评估任何号称是世界模型的东西时，在看一帧像素之前先问三个问题。它是在推理时接收动作，还是只接收提示词？同一状态下的同一动作，结果是否总是一样？如果你连续戳它一万步，会发生什么？这三个问题能把环境模拟器和非常令人印象深刻的电视机区分开来。

第二课：画面外的一致性才是谎言藏身之处

公众反应中最敏锐的观察，根本不是关于画质的。人们注意到，在龙骑竞速的演示里，镜头转回城堡时，城堡右侧的一大块——连投石机都包括在内——消失了，而另一座城堡似乎凭空出现。站台上朝镜头反方向走去的行人，在镜头转回来时身份变了。摩托车手在两次视角切换之间突然多了一顶头盔。模型对于留在画面内的东西保持得非常一致，而对于离开画面的东西，则悄悄地即兴发挥。

我构建过有同样失效模式的系统，所以我一眼就认出来了。这是模型的状态本质上只是近期潜在帧的滑动窗口，再加上注意力机制能够携带的东西。没有显式地图，没有物体恒存的存储，也没有场景图。模型并不知道有一座城堡；它只知道最近几千个token看起来像城堡。一旦这些token滚出上下文，城堡是否存在就变成了由先验概率加权的抛硬币。在龙的场景里城堡很常见，于是一座新城堡就凭空冒出来了。

一个忘记离开画面之物的模型，并没有学会一个世界。它学会的只是一个非常自信、非常可信的当下。

令人不安的是：这对娱乐可能还行，但对智能体训练来说是致命的。如果你在模拟器里训练机器人策略，策略会学会模拟器所奖励的任何东西。在没有物体恒存性的模拟器中，智能体可以通过等待世界重新掷骰子来“解决”任务：离开一个障碍物，转身时它可能已经不见了。由此得到的策略迁移到现实中的效果，大概和在碰撞检测有问题的电子游戏里训练出的策略差不多。我见过一些团队花了几个月去解决sim-to-real的差距，最后追根溯源，正是这一类不一致性导致的。

从概念上讲，解决办法是把记忆作为一等公民的架构组件，而不是依赖上下文长度涌现出来的性质。无论是显式的空间表示（NeRF式的场景状态、体素地图、物体槽位），还是更长、更聪明的潜在记忆，模型都需要能够回答：我身后现在是什么？而且不需要重新做梦。在我看来，DeepMind借助Gemini的推理模型来“引导和监控”场景一致性，本身就是对这个问题的承认：由于生成核心并不原生地维持一致性，它目前必须由另一个模型来看护。这是一个务实的补丁，而不是解决方案，我这么说是在描述，不是在批评。务实的补丁正是真实系统得以交付的方式。

第三课：潜在空间中的物理是先验，而不是求解器

发布材料着重强调了空气动力学、碰撞和自然的人类动作，西瓜被砸开和种子飘落的演示看起来确实物理上很流畅。我历史上的第二个大错误，是以为生成模型里看起来流畅的物理，就意味着模型已经把物理内化到了你可以依赖的程度。并非如此。它学到的只是海量视频中物理的视觉统计规律，这和一个约束系统是截然不同的东西。

破绽在于分布偏移。潜在物理模型能很好地处理最常见的那百分之一的情形：球弹跳、水波荡漾、布料在风中飘动，因为训练数据中包含了数百万个这样的例子。但一旦推向长尾，先验就崩了。有个演示提示词明明要求照片级真实感，模型却拼命避免“游戏画面感”，因为一只孔雀通过魔法棒变成猫，这种情形离训练分布太远，模型只能滑向先验中最接近的合理风格，显然是风格化的3D动画。把物理当作纹理来学习，恰恰会在你最需要仿真器的地方失效：那些你无法拍摄的新奇情境。

滑板测试——做出一段能骗过真正滑板手的视频——出于同样的原因是正确的直觉。滑板手身上有一个由成千上万次摔倒调校出来的具身物理引擎。重心转移、起跳时机、动量在水泥地面上如何与摩擦力相互转化：只要其中任何一点有细微偏差，哪怕在其他人看来毫无问题，在专家眼里也会立刻显得不对。当前的潜在世界模型经不起领域专家对力学的审视，我敢打赌，任何纯粹用视频训练的模型在短期内都通不过。物理存在于数据的阴影里，而不是作为可强制执行的定律存在于权重之中。

现在我的经验法则是：把潜在世界模型的物理当作一位有才华的分镜画师，而不是工程师。它能画出一个令人信服的爆炸，但不能保证飞溅的碎片守恒动量。如果你的应用场景需要保证——接触密集的机器人操作、流固耦合、安全验证——你依然需要真正的物理引擎，而有意思的工作在于混合系统。这与我在混合推理智能体中主张的模式是一样的：让学习到的模型处理高维、模糊的部分，让可验证的组件负责守住不变量。

第四课：别在“基准真相”只是一种氛围的地方训练智能体

每一次世界模型的发布都少不了机器人的宣传，Genie 4也不例外：为机器人和智能体提供无限可变的训练环境。每次都会有一部分从业者理所当然地表示怀疑——你不能在梦里训练机器人。双方各对一半，而解决之道在于具体化：哪些智能体，以及哪些技能。

对于底层运动控制，潜在仿真器目前是个陷阱。操作策略需要力反馈、接触动力学和可重复的物理；一个会重新掷骰子生成画面外几何结构、并根据视频统计近似碰撞的模型，只会训练出脆弱且会钻空子的策略。任何正在为抓取做sim-to-real的人，都应该继续使用MuJoCo、Isaac或Bullet这类仿真器，把世界模型的演示当作一个值得关注的研究方向。

但对于高层决策，情况就反过来了。导航策略、自动驾驶场景测试、网页和UI智能体、游戏智能体、多步规划器——这些大多需要的是动作的合理后果，而不是牛顿级精确的动力学。这种模式我们已经见过：像Dreamer这样的基于模型的强化学习系统，在学到的潜在动力学模型内部训练，然后迁移到真实的Atari和控制任务上；Waymo等公司早已在仿真中使用学习到的、其他道路使用者的行为模型。生成式世界模型，就是把这个思路扩展到开放式视觉环境。错误在于要求同一个模型同时服务于规划器和伺服控制回路。

• 将潜在世界模型用于：场景多样性、稀有事件生成、高层策略评估、人在回路测试，以及感知的合成数据。
• 将物理引擎用于：接触密集的操作、对动力学敏感的控制，以及任何“每一万步出现一次不一致的碰撞就会污染奖励信号”的场景。
• 两者都不要盲目依赖：尽早、频繁地用现实验证策略，因为每个仿真器——无论是学习出来的还是手工构建的——都存在差距，你最好在第二周而不是第九个月就找到自己的那道差距。

第五课：实时音频与对话改变的是产品，而不是科学

Genie 4是第一个原生生成环境音效和交互式对话的此类模型，网友很快就抓到它在你要萨克斯时播放了单簧管。好笑，但也很有启发。跨模态一致性和物体恒存是同一个问题，只是换了件外衣：音频分支有自己对场景的潜在理解，而“铜管单簧乐器”在嵌入空间中与“萨克斯”足够接近，于是这种混淆就溜了过去。预计还会有一长串类似的问题——踩在雪上的脚步声听起来像碎石路，对话回答的是场景早已翻过去的那个问题。

不过，从战略上看，音频的意义远比那次萨克斯失误所暗示的要大。无声的世界只是演示，有声的世界才是产品。自然语言引导——中途改变天气、添加一个人——则是另一半。两者结合，就把世界模型从研究成果变成了一种交互媒介，这显然是谷歌想要的方向：Project Genie、AI Ultra订阅、API合作伙伴。“电影变成电子游戏”的预测是显而易见的商业终局，这一次，炒作的韵脚倒是押对了。

对于从业者来说，关键是在脑子里把两条线分开。产品线（实时、可引导、视听兼备、可变现）发展很快，一两年内就会产出真正有用的工具，用于原型设计、预可视化和交互式叙事。科学线（持久状态、因果物理、可靠的长时程一致性）则是按研究的节奏前进，不应因为演示很漂亮就默认它已经解决了。我以前也犯过把产品里程碑当成科学里程碑的错误，结果围绕一项尚不存在的能力去设计系统，这种代价很惨重。

至于我今天会怎么用它

如果你在构建智能体，务实的做法没有变：控制栈继续依赖真实物理，但可以开始在其上层尝试学习型仿真器——场景生成、策略冒烟测试和感知的合成数据。这里的成本曲线正在以和LLM推理相同的方式下降，而正如我在为什么AI基准测试无法反映真实工作中所写的，最终胜出的团队是那些在自身真实任务分布上评估，而不是依赖公开演示的团队。搭建一套测试框架，让世界模型滚动运行数千个交互步骤，并度量一致性失败——物体重现、几何漂移、因果违例。这套框架能告诉你的，比任何发布视频都多。

也要关注开放权重这一侧——腾讯的HY-World 2.0获得的关注只有Genie 4的一小部分，但如果参考LLM和图像模型的历史，开放生态才是从业者真正学会这些系统如何运作的地方。你无法内省一个藏在候补名单后面的研究预览版。你可以微调、探测并拆解你能下载的东西，而探测本身很关键：正如机制可解释性研究所示，有价值的发现来自戳网络，而不是欣赏它。

坦率的总结是：Genie 4在困难的那条轴上——交互性——确实迈出了真实的一步，而不仅仅是在容易的那条轴上把像素画得更漂亮。但“在你看着的时候保持场景”与“模拟一个世界”之间的差距依然很大，而这恰恰是智能体训练最在意的那道差距。你要叫它世界模型也行。只是别忘了，世界和视频不同，你转过身去，它依然在那里。而这些模型，大多数时候还不是——至少目前还不是。