World Modelと動画予測の違い：私が誤解していたこと

Genie 4のデモが公開されたとき、私の最初の反応はSora以来ずっと同じでした。これはとても良い動画生成器だ。なぜこれを世界モデルと呼ぶのか？ 一日かけてクリップを眺め、自分より賢い人たちの反応を読んだ結果、この呼び方に対する考えが変わりました。同時に、シミュレーション分野で世界モデルを構築・評価してきた中で犯した三つの失敗も思い出しました。これはDeepMindのリリースのレビューではありません。動画を予測することと環境をシミュレートすることの違いについて、高い授業料を払って得た教訓をまとめたものです。デモを見ると両者を混同しやすいからです。

教訓1：世界モデルは映画ではなく遷移関数である

長い間私がやっていた失敗、そしてGenie 4についての多くの一過性の意見にも見られる失敗は、インタラクティブなシミュレーションを動画生成用の評価基準で測ることです。プロンプトを入れるとクリップが出てくる。忠実度、動きの滑らかさ、プロンプトへの従順さを評価して終わり。しかしその基準では、作られているものの肝心な点が抜け落ちてしまいます。

動画生成器はp(frames | prompt)を学習します。世界モデルは、むしろp(next_state | current_state, action)に近いものを学習します。この違いは理屈っぽく聞こえますが、突き詰めると重要です。動画予測では、再生中に何をしてもその内容は変わりません。そこに「あなた」は存在しないのです。世界モデルでは、エージェント（あるいはキーボードを操作するユーザー）が毎ステップ行動を入力し、モデルはそれを条件として扱う必要があります。インタラクションを許した瞬間に、生成的なアートの問題から、制御理論寄りの問題へと移ります。システムは、見たことのない入力に応答し、自分で陥っていく状態に対して、無期限に応答し続けなければならないのです。

だからこそ、Genie 4のキーボード操作や、シーン途中でのテキストによる操縦は、写実性よりも重要なのです。写実性は今世代のモデルにとって最低条件であり、Sora 2やVeo 3はすでにその水準をクリアしています。リアルタイムの行動条件付け、つまりキーを押すと世界が因果的に反応し、その後も一貫性を保ち続けること、これこそが本当の研究上の貢献です。画質だけでデモを採点している人を見ると、それは飛行シミュレーターを窓の見た目だけで評価しているようなものです。

混乱を解消する実践的な方法があります。どの世界モデルを評価するときも、ピクセルを一つ見る前に三つの質問をしてください。推論時に行動を受け取るのか、それともプロンプトだけか？同じ状態で同じ行動をすれば、同じ結果になるのか？そして一万ステップ連続で操作したら何が起きるのか？この三つの質問で、環境シミュレーターと非常に印象的なテレビが区別できます。

教訓2：画面外の一貫性に嘘が潜んでいる

公開された反応の中で最も鋭い指摘は、画質についてではありませんでした。ドラゴンレースのデモでカメラが城のほうへ振り戻ったとき、カタパルトを含む右側の一部が消え、二つ目の城が現れたように見える、という点です。電車のホームで歩いて遠ざかる歩行者は、カメラが戻ると別人になっています。バイクに乗る人は、カット間でヘルメットをかぶっていたりします。モデルは画面内に映っているものに対しては見事に一貫性を保つ一方で、映っていないものは静かに即興で作り上げてしまうのです。

私も同じ失敗モードのシステムを作ったことがあるので、すぐにわかりました。これは、モデルの状態が、直近の潜在フレームのスライディングウィンドウと、アテンション機構が運べるものでほぼ構成されている場合に起こります。明示的な地図も、物体の永続性を保持する記憶も、シーングラフもありません。モデルは「城がある」ことを知っているわけではなく、直近数千トークンが城っぽく見えた、ということしか知らないのです。そのトークンがコンテキストから流れ出ると、城の存在は事前分布によって重み付けされたコイントスになります。ドラゴンのシーンには城がよくあるので、新しい城がぽんと現れるのです。

フレームから出ていったものを忘れるモデルは、世界を学んだとは言えません。それは、非常に自信があり、非常にもっともらしい「現在」を学んだに過ぎないのです。

不愉快な点はここからです。これはエンタメには問題ないかもしれませんが、エージェントの訓練には致命的になりえます。シミュレーター内でロボットのポリシーを訓練するなら、そのポリシーはシミュレーターが報酬を与えるものを何でも学習します。物体の永続性がないシミュレーターでは、エージェントは世界がサイコロを振り直すのを待つことでタスクを「解いて」しまえます。障害物から離れれば、振り返ったときにはもう存在しないかもしれません。その結果得られたポリシーは、衝突判定が壊れたビデオゲームで訓練されたポリシーと同程度にしか現実へ転移しません。この種の不一貫性に起因するsim-to-realのギャップに、何か月もかけて苦しむチームを何度も見てきました。

概念的な解決策は、メモリを文脈長から自然に生まれる性質としてではなく、第一級のアーキテクチャ要素として扱うことです。NeRF風のシーン状態、ボクセルマップ、オブジェクトスロットといった明示的な空間表現であれ、もっと長く賢い潜在メモリであれ、モデルは「今、自分の後ろには何があるか？」に、もう一度夢見直すことなく答えられる必要があります。DeepMindがGeminiの推論モデルを使ってシーンの一貫性を「操縦・監視」させていることは、私には、その問題の裏返しの告白に見えます。生成のコアが一貫性をネイティブに保持できないので、別のモデルに子守りさせなければならないのです。これは本質的な解決ではなく、実用的な応急処置です。ただ、それは侮辱ではなく、事実の説明として言っています。実用的な応急処置こそ、実際のシステムが出荷される方法なのです。

教訓3：潜在空間の物理は、ソルバーではなく事前分布である

リリース資料では、空気力学、衝突、自然な人間の動きが強調されています。スイカを割るデモや、種が落ちるデモは、確かに物理的に流暢に見えます。私の歴史的な二つ目の大きな失敗は、生成モデルの物理が流暢に見えるなら、そのモデルは信頼できる形で物理を内面化していると思い込んだことでした。実際はそうではありません。膨大な量の動画から物理の視覚的な統計を学んだだけです。それは制約系とは全く別のものです。

その兆候は分布のずれに表れます。潜在物理モデルは、ボールが跳ねる、水面が波打つ、風で布がはためくといった、よくある事例をうまくこなします。学習データに何百万もそういう例があるからです。しかし裾野へ向かうと、事前分布は崩れます。あるデモのプロンプトは、写実的であることを求めているのに「ビデオゲームっぽい見た目」を避けるようモデルと格闘していました。魔法の杖で孔雀が猫に変わる、というのは分布からあまりにも外れているため、モデルは事前分布の中で最も近いもっともらしいジャンルへ滑っていったのです。どうやらそれはスタイライズされた3Dアニメーションだったようです。テクスチャとして学習された物理は、シミュレーターが最も必要とされる場面、つまり撮影できない新しい状況で必ず失敗します。

スケーターテストは、つまり実際のスケーターを騙せるラインを作るというものですが、同じ理由で正しい直感です。スケーターは、何千回もの転倒によって調整された身体的な物理エンジンを持っています。体重移動、ポップのタイミング、コンクリート上で運動量が摩擦とどうトレードオフされるか。どれか一つでも微妙に間違えれば、他の人には問題なく見えても、専門家には間違っているとすぐわかります。現在の潜在世界モデルは、力学に関する専門家の精査を通過できません。そして、純粋に動画で学習されたモデルが近いうちにそれを通過するとは思えません。物理はデータの影にあるのであって、強制可能な法則としてウェイトの中にあるわけではないのです。

今の私の経験則は、潜在世界モデルの物理を、エンジニアではなく才能あるストーリーボード作家のように扱うことです。説得力のある爆発は描いてくれます。しかし破片が運動量を保存することは保証してくれません。接触の多いロボットのマニピュレーション、流体と構造物の相互作用、安全性の検証など、保証が必要なユースケースでは、やはり本物の物理エンジンが必要です。そして面白い仕事はハイブリッドシステムにあります。これは、ハイブリッド推論エージェントについて私が主張してきたのと同じパターンです。高次元であいまいな部分は学習モデルに任せ、不変条件は検証可能なコンポーネントに任せるのです。

教訓4：正解が雰囲気でしかない場所でエージェントを訓練しない

どの世界モデルの発表にもロボティクスの売り込みが含まれ、Genie 4も例外ではありません。無限に変化する訓練環境をロボットやエージェントに提供する、というものです。毎回、実務家の一部は正当な懐疑で応じます。夢の中でロボットを訓練することはできない、と。両方の見方は半分正しく、解決策はどのエージェントとどのスキルなのかを具体的にすることにあります。

低レベルの運動制御では、潜在シミュレーターは今のところ罠です。マニピュレーションのポリシーには力のフィードバック、接触力学、再現性のある物理が必要です。画面外の形状を描き直し、衝突を映像の統計から近似するモデルは、脆く、抜け穴を突くようなポリシーを教えてしまいます。把持のためにsim-to-realを進めるなら、MuJoCo、Isaac、Bulletのようなシミュレーターにとどまり、世界モデルのデモは研究の方向性として注視するにとどめるべきです。

しかし高レベルの意思決定では、計算が逆になります。ナビゲーションポリシー、運転シナリオのテスト、WebやUIのエージェント、ゲームプレイのエージェント、多段階のプランナーは、ニュートン並みに正確な力学ではなく、行動のもっともらしい結果を必要とすることがほとんどです。このパターンはすでに機能しています。DreamerのようなモデルベースRLは、学習された潜在力学モデルの内部で訓練され、実際のAtariや制御タスクへ転移します。WaymoなどもシミュレーションでほかのRoad userの学習された振る舞いモデルを長く使ってきました。生成的な世界モデルは、このアイデアをオープンエンドな視覚環境に広げたものです。間違いは、一つのモデルにプランナーとサーボループの両方を兼ねさせようとすることです。

• 潜在世界モデルに向いている用途： シナリオの多様性、稀な事象の生成、高レベルのポリシー評価、人間が介在するテスト、知覚のための合成データ。
• 物理エンジンに向いている用途： 接触の多いマニピュレーション、動力学に敏感な制御、一万ステップに一度の不一貫な衝突が報酬信号を汚してしまうあらゆる場面。
• どちらも盲目的に使わない： 学習型であれ手作りであれ、すべてのシミュレーターにはギャップがあるため、ポリシーは早い段階から頻繁に現実で検証してください。そのギャップは九か月目ではなく、二週目に見つけたいのです。

教訓5：リアルタイムの音声と対話が変えるのはプロダクトであり、科学ではない

Genie 4は、環境音と対話型の音声をネイティブに生成する最初のモデルの一つで、サックスを頼むとクラリネットを演奏してしまうことをネット上ですぐに見抜かれました。笑えますが、同時に示唆に富んでいます。クロスモーダルな一貫性は、別の帽子をかぶった物体の永続性の問題です。音声ヘッドには独自の潜在的なシーン概念があり、「金管の単リード楽器」は埋め込み空間で十分に近いため、取り違えがすり抜けてしまうのです。雪の上の足音が砂利のように聞こえたり、シーンがすでに先へ進んでしまった質問に答える対話が出てきたりと、こうした問題は長く続くと予想されます。

しかし戦略的に見ると、音声はサックスの失態が示す以上に大きな意味を持ちます。無音の世界はデモにすぎませんが、音の鳴る世界はプロダクトです。天候を変えたり、人物を追加したりといった自然言語による操縦は、その片割れです。この二つが合わさることで、世界モデルは研究成果物から、インタラクティブなメディアへと変わります。Googleがここを狙っているのは明らかで、Project Genie、AI Ultraのサブスクリプション、APIパートナーなどがそれを示しています。「映画がビデオゲームになる」という予測は、商業的な最終形として分かりやすいものであり、今回ばかりは誇大広告が現実と韻を踏んでいるようです。

実務家にとっての教訓は、頭の中で二つの流れを分けて考えることです。プロダクトの流れ（リアルタイム、操作可能、視聴覚的、収益化可能）は急速に進んでおり、一、二年以内にプロトタイピング、プリビズ、インタラクティブなストーリーテリングに本当に役立つツールを生むでしょう。一方、科学の流れ（永続的な状態、因果的な物理、信頼できる長期的な一貫性）は研究のペースで進んでおり、デモが見事だからといって解決済みだと思い込むべきではありません。私も以前、プロダクトのマイルストーンを科学のマイルストーンと取り違えたことがあります。そうすると、まだ存在しない能力を前提としたシステムを設計することになってしまうのです。

今日、実際に私がやること

エージェントを作っているなら、実践的な方針は変わっていません。制御スタックは実物理に置いたまま、その上の層、つまりシナリオ生成、ポリシーのスモークテスト、知覚用の合成データについて、学習型シミュレーターを試し始めてください。ここでのコスト曲線は、LLMの推論で起きたのと同じように下がっています。そしてAIベンチマークが実際の仕事を捉えきれない理由で書いたように、勝つのは公開デモではなく、自分たちの実タスクの分布で評価するチームです。世界モデルを何千ものインタラクティブなステップにわたって展開し、一貫性の失敗（物体の再出現、形状のドリフト、因果性の違反）を計測するハーネスを作ってください。そのハーネスは、どんなローンチ動画よりも多くを教えてくれるはずです。

オープンウェイトの側にも注目してください。TencentのHY-World 2.0は、Genie 4のわずかな注目しか集めませんでしたが、LLMや画像モデルの歴史を振り返れば、実務家が実際にこうしたシステムの仕組みを学ぶのは、オープンなエコシステムの中でしょう。ウェイティングリストの向こうにある研究プレビューを内側から調べることはできません。ダウンロードできるものなら、ファインチューニングし、プローブをかけ、壊すことができます。そしてプロービングは重要です。メカニスティック解釈可能性の研究と同様に、面白い発見はネットワークを眺めることからではなく、突くことから生まれるのです。

率直にまとめると、Genie 4は、きれいなピクセルという簡単な軸ではなく、インタラクティブ性という難しい軸での本物の一歩です。しかし「見ている間はシーンを維持する」ことと「世界をシミュレートする」ことの間のギャップは、まだ大きく、まさにそれがエージェントの訓練にとって重要なギャップです。世界モデルと呼びたければそう呼べばいいでしょう。ただ、動画と違って、世界は振り返ってもそこにあるべきだということを忘れないでください。今のところ、ほとんどのモデルはそうなっていません。まだ、ですが。