Мировые модели и предсказание видео: в чём я ошибался

Когда появились демо Genie 4, моя первая реакция была та же, что и с Sora: это очень хороший генератор видео, зачем его называть мировой моделью? День разбора клипов и реакций людей умнее меня изменил мою точку зрения на формулировку и напомнил о трёх ошибках, которые я сам допустил, создавая и оценивая мировые модели в задачах симуляции. Это не обзор релиза DeepMind. Это набор уроков, полученных дорогой ценой, о разнице между предсказанием видео и симуляцией среды, потому что демо легко путают одно с другим.

Урок 1: мировая модель — это функция перехода, а не фильм

Долгое время я ошибался, и эту же ошибку я вижу в большинстве горячих мнений о Genie 4: интерактивную симуляцию оценивают по той же шкале, что и генерацию видео. Подаёшь промпт, получаешь клип, оцениваешь точность, плавность движения, соответствие промпту. Готово. Такая шкала упускает всю суть того, что строится.

Генератор видео выучивает p(frames | prompt). Мировая модель учит что-то ближе к p(next_state | current_state, action). Разница звучит академично, пока не начнёшь её проверять. При предсказании видео ничто из того, что вы делаете во время воспроизведения, ничего не меняет; здесь нет «вас». В мировой модели агент (или пользователь с клавиатурой) подаёт действия на каждом шаге, и модель должна на них опираться. Как только вы допускаете взаимодействие, задача переходит из области генеративного искусства в область, напоминающую теорию управления: система должна реагировать на входы, которых никогда не видела, в состояниях, в которые она сама дрейфует, бесконечно долго.

Поэтому клавиатурная навигация Genie 4 и текстовое управление сценой посреди действия важнее его фотореализма. Фотореализм в этом поколении моделей — минимум: Sora 2 и Veo 3 его уже взяли. Реальное управление действиями в реальном времени — нажал клавишу, мир причинно-следственно отреагировал и продолжает реагировать связно — вот настоящий исследовательский вклад. Когда люди оценивают демо только по качеству картинки, они оценивают авиасимулятор по красоте окон.

Практический способ не путаться: оценивая любую заявленную мировую модель, задайте три вопроса до того, как посмотрите хотя бы на один пиксель. Принимает ли она действия на этапе инференса или только промпт? Делает ли одно и то же действие в одном и том же состоянии одно и то же? И что будет, если тыкать в неё десять тысяч шагов подряд? Эти три вопроса отделяют симуляторы сред от очень впечатляющих телевизоров.

Урок 2: ложь прячется в том, что за кадром

Самые острые наблюдения в публичной реакции вообще не касались качества картинки. Люди заметили, что в демо с гонками на драконах, когда камера возвращается к замку, часть его правой стороны вместе с катапультой исчезла, а второй замок, похоже, появился. Пешеходы, уходящие от камеры на платформе, меняют внешность, когда камера возвращается. Мотоциклист между сменами ракурса получает шлем. Модель прекрасно поддерживает согласованность того, что попадает в кадр, и тихо импровизирует то, что в кадр не попадает.

Я строил системы с ровно такой же ошибкой, поэтому узнаю её сразу. Так получается, когда состояние модели по сути является скользящим окном недавних латентных кадров плюс того, что механизм внимания может удержать. Явной карты нет, хранилища постоянства объектов нет, графа сцены нет. Модель не знает, что там есть замок; она знает лишь, что последние несколько тысяч токенов выглядели как замок. Как только эти токены выходят из контекста, существование замка становится броском монеты, взвешенным по априорным представлениям. Замки часто встречаются в сценах с драконами, поэтому новый замок материализуется.

Модель, которая забывает то, что покинуло кадр, не выучила мир. Она выучила очень уверенное, очень правдоподобное настоящее.

Вот неприятная часть: для развлечения это, возможно, сгодится, а для обучения агентов — полностью дисквалифицирующе. Если вы обучаете политику робота внутри симулятора, она выучит всё, что симулятор вознаграждает. В симуляторе без постоянства объектов агент может «решать» задачи, дожидаясь, пока мир перебросит кубики: отойдите от препятствия, и, возможно, когда вы обернётесь, его уже не будет. Такая политика переносится в реальность примерно так же, как политика, обученная в видеоигре с поломанной детекцией столкновений. Я видел, как команды теряли месяцы на разрыв между симуляцией и реальностью, который в итоге сводился именно к такой несогласованности.

Решение концептуально в том, чтобы память была архитектурным компонентом первого класса, а не эмерджентным свойством длины контекста. Будь то явное пространственное представление (состояние сцены в духе NeRF, воксельные карты, слоты объектов) или гораздо более длинная и умная латентная память, модели нужно уметь отвечать на вопрос: что сейчас у меня за спиной? — и не пересоздавать это заново. То, что DeepMind опирается на модели рассуждений Gemini, чтобы «направлять и отслеживать» согласованность сцены, по-моему, является признанием этой проблемы: согласованность сейчас приходится контролировать другой моделью, потому что генеративное ядро не удерживает её само. Это прагматичная заплатка, а не решение, и я говорю это как описание, а не как упрёк. Именно через такие заплатки реальные системы и выходят в продакшен.

Урок 3: физика в латентном пространстве — это априорное знание, а не решатель

В релизе делается упор на аэродинамику, столкновения и естественное движение людей, и демо с разбиванием арбуза и падающими семенами действительно выглядят физически грамотно. Моя вторая крупная ошибка в прошлом состояла в предположении, что грамотно выглядящая физика в генеративной модели означает, что модель усвоила физику так, что на неё можно положиться. Это не так. Она выучила визуальную статистику физики по огромным объёмам видео, а это совсем другое, нежели система ограничений.

Выдаёт это сдвиг распределения. Латентные физические модели блестяще справляются с обычными случаями: мяч отскакивает, вода рябит, ткань колышется на ветру, потому что в обучающих данных миллионы таких примеров. Уйдите в хвост распределения, и априорные знания дают трещину. Один из промптов заставлял модель изо всех сил избегать «вида видеоигры», хотя просили фотореализм, потому что превращение павлина в кота волшебной палочкой так далеко за пределами распределения, что модель съехала к ближайшему правдоподобному жанру, которым, судя по всему, оказалась стилизованная 3D-анимация. Физика, выученная как текстура, подводит именно там, где вам больше всего нужен симулятор: в новых ситуациях, которые невозможно заснять.

Тест со скейтбордистом, когда нужно создать трюк, который обманет настоящего райдера, правильно построен по той же причине. Скейтбордисты несут в себе воплощённый физический движок, настроенный тысячами падений. Перенос веса, тайминг толчка, то, как импульс обменивается с трением о бетон: если что-то чуть-чуть неверно, эксперт это заметит, даже если всем остальным покажется нормально. Текущие латентные мировые модели не проходят проверку экспертом в предметной области по механике, и я поставил бы против того, что любая чисто видеообученная модель скоро её пройдёт. Физика лежит в тени данных, а не в весах как обязательный закон.

Моё текущее правило: относиться к физике латентной мировой модели как к талантливому художнику-раскадровщику, а не инженеру. Она нарисует вам убедительный взрыв, но не гарантирует, что осколки сохранят импульс. Если в вашем сценарии нужны гарантии (манипуляции роботов с контактами, взаимодействие жидкости и конструкции, валидация безопасности), вам всё равно понадобится настоящий физический движок, а интересная работа ведётся в гибридных системах. Это тот же паттерн, за который я выступал в разговоре о гибридных агентах рассуждения: пусть обученная модель берёт на себя многомерное нечёткое, а проверяемый компонент отвечает за инварианты.

Урок 4: не обучайте агентов там, где эталон — это настроение

Каждое анонсирование мировой модели содержит питч про робототехнику, и Genie 4 не исключение: бесконечно вариативные среды для обучения роботов и агентов. Каждый раз часть практиков реагирует обоснованным скепсисом: робота в мечте не натренируешь. Обе стороны отчасти правы, и разрешение спора — в конкретике: какие агенты и какие навыки.

Для низкоуровневого управления моторикой латентные симуляторы сейчас — ловушка. Политике манипуляции нужна обратная связь по силе, динамика контактов и воспроизводимая физика; модель, которая пересоздаёт геометрию за кадром и аппроксимирует столкновения по статистике видео, учит хрупкие, эксплуатирующие среду политики. Тем, кто выводит в продакшен sim-to-real для захвата объектов, стоит оставаться на симуляторах класса MuJoCo, Isaac или Bullet, а демо мировых моделей рассматривать как направление исследований, за которым стоит следить.

Для высокоуровневого принятия решений расчёт меняется. Навигационные политики, тестирование сценариев вождения, агенты для веба и интерфейсов, игровые агенты, многошаговые планировщики — им в основном нужны правдоподобные последствия действий, а не динамика с точностью до Ньютона. Мы уже видели, как этот паттерн работает: системы model-based RL вроде Dreamer обучаются внутри выученной латентной модели динамики и переносятся на реальные задачи Atari и управления; Waymo и другие давно используют выученные поведенческие модели других участников дорожного движения внутри своих симуляций. Генеративная мировая модель — это та же идея, масштабированная на открытые визуальные среды. Ошибка в том, чтобы требовать от одной модели одновременно обслуживать и планировщик, и сервоконтур.

• Латентные мировые модели подходят для: разнообразия сценариев, генерации редких событий, оценки высокоуровневых политик, тестирования с участием человека, синтетических данных для восприятия.
• Физические движки — для: манипуляций с множеством контактов, управления, чувствительного к динамике, и всего, где одно несогласованное столкновение на десять тысяч шагов отравляет сигнал вознаграждения.
• Не полагайтесь слепо ни на что: проверяйте политику на реальности рано и часто, потому что у любого симулятора, выученного или написанного вручную, есть разрыв, и лучше найти свой во второй неделе, а не на девятом месяце.

Урок 5: аудио и диалоги в реальном времени меняют продукт, а не науку

Genie 4 — первая из таких моделей, которая нативно генерирует фоновое аудио и интерактивные диалоги, и интернет тут же поймал, что по запросу саксофона она играет на кларнете. Смешно и поучительно. Кросс-модальная согласованность — это та же проблема постоянства объектов, только в другой шляпе: у аудиоголовы есть собственное латентное представление сцены, а «медный духовой с одной тростью» достаточно близок в пространстве эмбеддингов, чтобы путаница проскочила. Ждите длинного хвоста таких случаев: шагов по снегу, которые звучат как гравий, диалогов, которые отвечают на вопрос, с которым сцена уже ушла дальше.

Стратегически, однако, аудио — гораздо большее дело, чем ляпсус с саксофоном. Немая мировая модель — это демо; звучащая — это продукт. Управление на естественном языке, например смена погоды или добавление персонажа прямо на ходу, — это вторая половина. Вместе они превращают мировую модель из исследовательского артефакта в интерактивную среду, и именно к этому, очевидно, движется Google: Project Genie, подписки AI Ultra, API-партнёры. Предсказание «фильмы станут видеоиграми» — очевидный коммерческий финал, и на этот раз хайп звучит в рифму с реальностью.

Практикам стоит разделять в голове две линии. Продуктовая (реальное время, управляемость, аудиовизуальность, монетизируемость) движется быстро и через год-два породит по-настоящему полезные инструменты для прототипирования, превизуализации и интерактивного сторителлинга. Научная (постоянное состояние, причинная физика, надёжная согласованность на длинном горизонте) движется темпами исследований и не должна считаться решённой только потому, что демо великолепно. Я уже однажды принимал продуктовую веху за научную; так и заканчивается тем, что вы строите архитектуру вокруг возможности, которой пока не существует.

Что бы я на самом деле делал с этим сегодня

Если вы строите агентов, прагматичный подход не изменился: держите стек управления на реальной физике, но начинайте экспериментировать с выученными симуляторами для слоёв над ним — генерация сценариев, быстрое smoke-тестирование политик и синтетические данные для восприятия. Кривая стоимости здесь падает так же, как падала для инференса LLM. Как я писал в статье о том, почему AI-бенчмарки не отражают реальную работу, выигрывают те команды, которые оценивают модели на своём реальном распределении задач, а не на публичных демо. Постройте харнес, который прокатывает мировую модель на тысячах интерактивных шагов и измеряет сбои согласованности: возврат объектов, дрейф геометрии, нарушения причинности. Он скажет вам больше, чем любое видео с презентации.

Также присмотритесь к открытым весам: HY-World 2.0 от Tencent получила долю внимания, ничтожную по сравнению с Genie 4, а если история LLM и моделей изображений чему-то учит, именно открытая экосистема станет местом, где практики реально поймут, как работают эти системы. Нельзя заглянуть внутрь исследовательского превью за листом ожидания. Можно дообучать, зондировать и ломать то, что можно скачать, и зондирование важно: как и в случае с работами по механистической интерпретируемости, интересные находки получаются от вмешательства в сеть, а не от восхищения ею.

Честный итог: Genie 4 — реальный шаг по трудной оси, интерактивности, а не только по лёгкой оси более красивых пикселей. Но разрыв между «поддерживает сцену, пока вы на неё смотрите» и «симулирует мир» всё ещё огромен, и именно этот разрыв важен для обучения агентов. Называйте это мировой моделью, если хотите. Только помните: мир, в отличие от видео, на месте, когда вы оборачиваетесь. Эти же, в основном, — нет. Пока.