World models vs prédiction vidéo : mes erreurs

Quand les démos de Genie 4 sont sorties, ma première réaction a été la même que depuis Sora : c'est un très bon générateur vidéo, pourquoi l'appeler world model ? Une journée à tester les clips et à lire les réactions de gens plus intelligents que moi a fait évoluer mon avis sur le cadrage, et m'a rappelé trois erreurs que j'ai commises en construisant et en évaluant des world models pour de la simulation. Ce n'est pas une critique de la sortie de DeepMind. C'est une série de leçons tirées à la dure sur la différence entre prédire une vidéo et simuler un environnement, parce que les démos rendent cette confusion très facile.

Leçon 1 : un world model est une fonction de transition, pas un film

L'erreur que j'ai faite pendant longtemps — et que je vois dans la plupart des avis tranchés sur Genie 4 — consiste à évaluer une simulation interactive avec la grille utilisée pour la génération vidéo. On donne un prompt, on obtient un clip, on juge la fidélité, la fluidité du mouvement, le respect du prompt. Terminé. Cette grille passe à côté de l'essentiel de ce qu'on est en train de construire.

Un générateur vidéo apprend p(frames | prompt). Un world model apprend plutôt quelque chose comme p(next_state | current_state, action). La distinction paraît académique jusqu'à ce qu'on la mette à l'épreuve. Dans la prédiction vidéo, ce que vous faites pendant la lecture ne change rien ; il n'y a pas de « vous ». Dans un world model, un agent (ou un utilisateur au clavier) injecte des actions à chaque pas, et le modèle doit en tenir compte. Dès qu'on autorise l'interaction, on passe d'un problème de génération artistique à un problème d'inspiration théorie du contrôle : le système doit réagir à des entrées qu'il n'a jamais vues, dans des états où il dérive tout seul, indéfiniment.

C'est pour cela que la navigation au clavier de Genie 4 et le pilotage textuel en cours de scène comptent plus que son photoréalisme. Le photoréalisme est le minimum dans cette génération de modèles ; Sora 2 et Veo 3 ont déjà franchi ce cap. Le conditionnement par action en temps réel — appuyer sur une touche, le monde réagit de façon causale et continue à réagir de manière cohérente — est la vraie contribution de recherche. Quand je vois des gens noter les démos uniquement sur la qualité d'image, ils notent un simulateur de vol sur la beauté des fenêtres.

Pour dissiper la confusion, voici la méthode pratique : avant de regarder le moindre pixel, posez trois questions à tout world model revendiqué. Prend-il des actions à l'inférence, ou seulement un prompt ? La même action dans le même état produit-elle toujours le même effet ? Et que se passe-t-il si on l'enchaîne dix mille fois ? Ces trois questions séparent les simulateurs d'environnement des téléviseurs très impressionnants.

Leçon 2 : c'est dans la cohérence hors champ que se cache le mensonge

Les observations les plus pertinentes dans les réactions publiques ne portaient pas du tout sur la qualité d'image. Les gens ont remarqué que dans la démo de course de dragons, quand la caméra revient vers le château, une partie de son côté droit — catapulte comprise — a disparu, et qu'un second château semble être apparu. Les piétons qui s'éloignent de la caméra sur le quai de gare changent d'identité quand la caméra revient. Un motard gagne un casque entre deux plans. Le modèle maintient parfaitement la cohérence de ce qui reste dans le cadre, et improvise discrètement tout le reste.

J'ai construit des systèmes avec exactement ce mode de défaillance, donc je le reconnais immédiatement. C'est ce qu'on obtient quand l'état du modèle n'est essentiellement qu'une fenêtre glissante de latents récents, plus ce que le mécanisme d'attention peut transporter. Pas de carte explicite, pas de stockage de permanence des objets, pas de graphe de scène. Le modèle ne sait pas qu'il y a un château ; il sait que les derniers milliers de tokens ressemblaient à un château, et dès que ces tokens sortent du contexte, l'existence du château devient un pile ou face pondéré par les a priori. Les châteaux sont fréquents dans les scènes de dragons, donc un nouveau château apparaît.

Un modèle qui oublie ce qui a quitté le cadre n'a pas appris un monde. Il a appris un présent très assuré et très plausible.

Le plus gênant, c'est que cela peut très bien aller pour le divertissement et être totalement rédhibitoire pour l'entraînement d'agents. Si vous entraînez une politique de robot dans un simulateur, elle apprendra ce que le simulateur récompense. Dans un simulateur sans permanence des objets, un agent peut « résoudre » des tâches en attendant que le monde relance les dés : il s'éloigne d'un obstacle, qui peut ne plus exister quand il se retourne. La politique obtenue se transfère au monde réel à peu près aussi bien qu'une politique entraînée dans un jeu vidéo à détection de collisions défaillante. J'ai vu des équipes perdre des mois sur des écarts sim-to-real qui remontaient exactement à ce type d'incohérence.

La solution, conceptuellement, consiste à faire de la mémoire un composant architectural de premier plan plutôt qu'une propriété émergente de la longueur du contexte. Qu'il s'agisse d'une représentation spatiale explicite (état de scène façon NeRF, cartes de voxels, emplacements d'objets) ou d'une mémoire latente beaucoup plus longue et plus intelligente, le modèle doit pouvoir répondre à la question : qu'y a-t-il derrière moi, maintenant ? sans le rêver à nouveau. Le fait que DeepMind s'appuie sur les modèles de raisonnement de Gemini pour « piloter et surveiller » la cohérence de la scène me semble être un aveu : la cohérence doit actuellement être surveillée par un autre modèle, parce que le noyau génératif ne la porte pas nativement. C'est un correctif pragmatique, pas une solution, et je le dis comme une description, pas comme une critique. Les correctifs pragmatiques sont la façon dont les vrais systèmes sortent en production.

Leçon 3 : la physique dans un espace latent est un a priori, pas un solveur

La communication autour de la sortie met en avant l'aérodynamique, les collisions et les mouvements humains naturels, et les démos de pastèque écrasée et de graines qui tombent paraissent effectivement physiquement fluides. Ma deuxième grande erreur, historiquement, a été de supposer qu'une physique d'apparence fluide dans un modèle génératif signifie que le modèle a intériorisé la physique d'une façon sur laquelle on peut compter. Ce n'est pas le cas. Il a appris les statistiques visuelles de la physique à partir d'énormes quantités de vidéos, ce qui est très différent d'un système de contraintes.

Le signe révélateur, c'est le décalage de distribution. Les modèles de physique latente réussissent les cas les plus courants — une balle rebondit, l'eau ondule, le tissu gonfle au vent, parce que les données d'entraînement contiennent des millions de ces situations. Dès qu'on pousse vers la queue de la distribution, les a priori craquent. Dans une démo, un prompt a eu toutes les peines du monde à éviter un « rendu jeu vidéo » malgré une demande de photoréalisme, parce qu'un paon qui se transforme en chat grâce à une baguette magique est tellement hors distribution que le modèle a glissé vers le genre plausible le plus proche de ses a priori, soit apparemment l'animation 3D stylisée. Une physique apprise comme une texture échoue précisément là où un simulateur serait le plus utile : les situations inédites qu'on ne peut pas filmer.

Le test du skateur — produire une figure qui tromperait un vrai skateur — relève du même bon instinct, pour la même raison. Les skateurs portent un moteur physique incarné, affiné par des milliers de chutes. Le transfert de poids, le timing du ollie, la façon dont l'élan se négocie avec la friction sur le béton : si l'un de ces éléments est subtilement faux, un expert le perçoit comme faux, alors que tout le monde le trouve correct. Les world models latents actuels ne passent pas l'examen d'un expert du domaine sur la mécanique, et je parierais contre qu'un modèle entraîné uniquement sur la vidéo le passe bientôt. La physique se trouve dans les zones d'ombre des données, pas dans les poids comme une loi applicable.

Ma règle empirique aujourd'hui : traiter la physique d'un world model latent comme celle d'un bon storyboarder, pas d'un ingénieur. Il vous dessinera une explosion convaincante. Il ne garantira pas que les éclats conservent la quantité de mouvement. Si votre cas d'usage exige des garanties — manipulation robotique riche en contacts, interaction fluide-structure, validation de sécurité — il vous faut tout de même un vrai moteur physique, et le travail intéressant se trouve dans les systèmes hybrides. C'est le même schéma que je défendais pour les agents de raisonnement hybrides : laisser le modèle appris gérer le flou de haute dimension, et confier les invariants à un composant vérifiable.

Leçon 4 : ne pas entraîner des agents là où la vérité terrain est une ambiance

Chaque annonce de world model inclut l'argument robotique, et Genie 4 ne fait pas exception : des environnements d'entraînement infiniment variables pour robots et agents. À chaque fois, une bonne partie des praticiens répond avec un scepticisme justifié — on ne peut pas entraîner un robot dans un rêve. Les deux camps ont à moitié raison, et la solution passe par la précision sur quels agents et quelles compétences.

Pour le contrôle moteur bas niveau, les simulateurs latents sont aujourd'hui un piège. Une politique de manipulation a besoin de retour d'effort, de dynamique de contact et d'une physique reproductible ; un modèle qui réimagine la géométrie hors champ et approxime les collisions à partir de statistiques vidéo produit des politiques fragiles et qui exploitent les failles. Qui livre du sim-to-real pour la préhension devrait rester sur MuJoCo, Isaac ou des simulateurs de la classe de Bullet, et considérer les démos de world models comme une piste de recherche à surveiller.

Pour la prise de décision haut niveau, en revanche, le calcul s'inverse. Les politiques de navigation, les tests de scénarios de conduite, les agents web et d'interface, les agents de jeu, les planificateurs multi-étapes ont surtout besoin de conséquences plausibles des actions, pas d'une dynamique exacte à la Newton. On a déjà vu le schéma fonctionner : les systèmes de RL basé sur un modèle comme Dreamer s'entraînent dans un modèle de dynamique latent appris et se transfèrent à de vraies tâches Atari et de contrôle ; Waymo et d'autres utilisent depuis longtemps des modèles comportementaux appris pour les autres usagers de la route dans leurs simulations. Un world model génératif, c'est cette idée étendue à des environnements visuels ouverts. L'erreur consiste à exiger qu'un seul modèle serve à la fois au planificateur et à la boucle d'asservissement.

• Utiliser les world models latents pour : la diversité des scénarios, la génération d'événements rares, l'évaluation de politiques de haut niveau, les tests avec un humain dans la boucle, les données synthétiques pour la perception.
• Utiliser les moteurs physiques pour : la manipulation riche en contacts, le contrôle sensible à la dynamique, tout ce où une collision incohérente une fois sur dix mille pas empoisonne le signal de récompense.
• Ne se fier à aucun des deux aveuglément : valider la politique face à la réalité tôt et souvent, car tout simulateur — appris ou codé à la main — a un écart, et vous voulez trouver le vôtre en deuxième semaine, pas au neuvième mois.

Leçon 5 : l'audio et le dialogue en temps réel changent le produit, pas la science

Genie 4 est le premier de ces modèles à générer nativement un son d'ambiance et des dialogues interactifs, et internet a immédiatement repéré qu'il jouait une clarinette quand on demandait un saxophone. Drôle, et instructif. La cohérence entre modalités est le même problème de permanence des objets, sous un autre chapeau : la tête audio a sa propre notion latente de la scène, et « instrument à anche simple en laiton » est assez proche dans l'espace des embeddings pour que la confusion passe. Attendez-vous à une longue traîne de ce genre d'erreurs : des pas sur la neige qui sonnent comme du gravier, des dialogues qui répondent à une question que la scène a déjà dépassée.

Stratégiquement, cependant, l'audio est un enjeu bien plus important que l'erreur du saxophone ne le laisse penser. Un monde muet est une démo ; un monde sonore est un produit. Le pilotage en langage naturel — changer la météo, ajouter une personne, en plein milieu du flux — en est l'autre moitié. Ensemble, ils font du world model un média interactif plutôt qu'un objet de recherche, ce que Google vise clairement : Project Genie, abonnements AI Ultra, partenaires API. La prédiction « les films deviennent des jeux vidéo » est la fin commerciale évidente, et pour une fois, la rime du hype tombe juste.

Pour les praticiens, la leçon est de séparer les deux fils dans votre tête. Le fil produit (temps réel, pilotable, audiovisuel, monétisable) avance vite et produira d'ici un an ou deux des outils réellement utiles pour le prototypage, la prévisualisation et la narration interactive. Le fil scientifique (état persistant, physique causale, cohérence fiable sur un long horizon) avance à la vitesse de la recherche et ne doit pas être considéré comme résolu parce que la démo est magnifique. J'ai déjà commis l'erreur de lire une étape produit comme une étape scientifique ; c'est ainsi qu'on finit par architecturer un système autour d'une capacité qui n'existe pas encore.

Ce que je ferais concrètement avec ça aujourd'hui

Si vous construisez des agents, la stratégie pragmatique n'a pas changé : gardez votre pile de contrôle sur une vraie physique, mais commencez à expérimenter avec des simulateurs appris pour les couches au-dessus — génération de scénarios, tests de fumée des politiques et données synthétiques de perception. La courbe de coût chute ici comme elle l'a fait pour l'inférence des LLM, et comme je l'ai écrit dans pourquoi les benchmarks d'IA passent à côté du travail réel, les équipes qui gagnent sont celles qui évaluent sur leur distribution de tâches réelle plutôt que sur des démos publiques. Construisez un harnais qui déroule le world model sur des milliers de pas interactifs et mesure les échecs de cohérence — réapparition d'objets, dérive de géométrie, violations causales. Ce harnais vous en apprendra plus que n'importe quelle vidéo de lancement.

Gardez aussi un œil sur le côté poids ouverts : HY-World 2.0 de Tencent a reçu une fraction de l'attention de Genie 4, et si l'histoire des LLM et des modèles d'images est un guide, c'est dans l'écosystème ouvert que les praticiens apprendront vraiment comment ces systèmes fonctionnent. On ne peut pas inspecter un aperçu de recherche derrière une liste d'attente. On peut affiner, sonder et casser ce qu'on peut télécharger, et le sondage compte : comme pour les travaux d'interprétabilité mécaniste, les découvertes intéressantes viennent du fait de titiller le réseau, pas de l'admirer.

Le bilan honnête : Genie 4 est une vraie avancée sur l'axe difficile — l'interactivité — et pas seulement sur l'axe facile des pixels plus jolis. Mais l'écart entre « maintenir une scène pendant qu'on la regarde » et « simuler un monde » reste large, et c'est précisément l'écart qui compte pour l'entraînement d'agents. Appelez-le world model si vous voulez. Gardez simplement en tête qu'un monde, contrairement à une vidéo, est toujours là quand on se retourne. Ceux-ci, pour la plupart, ne le sont pas — pas encore.