Modelos del mundo vs. predicción de video: mis errores

Cuando salieron las demos de Genie 4, mi primera reacción fue la misma que tuve con Sora: es un generador de video muy bueno, ¿por qué lo llamamos modelo del mundo? Un día revisando los clips y leyendo las reacciones de gente más lista que yo me hizo cambiar de opinión sobre el encuadre, y me recordó tres errores que he cometido construyendo y evaluando modelos del mundo en trabajos de simulación. Esto no es una reseña del lanzamiento de DeepMind. Es un conjunto de lecciones aprendidas por el camino caro sobre la diferencia entre predecir video y simular un entorno, porque las demos hacen fácil confundir ambas cosas.

Lección 1: un modelo del mundo es una función de transición, no una película

El error que cometí durante mucho tiempo, y el que veo en la mayoría de las opiniones apresuradas sobre Genie 4, es evaluar la simulación interactiva con la rúbrica que usamos para generar video. Entra un prompt, sale un clip, juzgamos fidelidad, suavidad del movimiento y adherencia al prompt. Listo. Esa rúbrica se pierde por completo el sentido de lo que se está construyendo.

Un generador de video aprende p(frames | prompt). Un modelo del mundo aprende algo más parecido a p(next_state | current_state, action). La distinción suena académica hasta que la pones a prueba. En la predicción de video, nada de lo que haces durante la reproducción cambia nada; no hay un «tú». En un modelo del mundo, un agente (o un usuario con un teclado) inyecta acciones en cada paso, y el modelo tiene que condicionarse a ellas. En cuanto permites la interacción, pasas de un problema de arte generativo a uno con sabor a teoría de control: el sistema debe responder a entradas que nunca vio, en estados a los que deriva por sí mismo, indefinidamente.

Por eso la navegación con teclado de Genie 4 y la edición de la escena con texto durante la reproducción importan más que su fotorrealismo. El fotorrealismo es lo mínimo exigible en esta generación de modelos; Sora 2 y Veo 3 ya superaron ese listón. La verdadera aportación de investigación es el condicionamiento de acciones en tiempo real: pulsas una tecla, el mundo responde causalmente y sigue respondiendo de forma coherente. Cuando veo que la gente puntúa las demos solo por la calidad de imagen, es como evaluar un simulador de vuelo por lo bonitas que son las ventanas.

La forma práctica de salir de la confusión: al evaluar cualquier supuesto modelo del mundo, hazte tres preguntas antes de mirar un solo píxel. ¿Acepta acciones en el momento de la inferencia o solo un prompt? ¿La misma acción en el mismo estado produce siempre lo mismo? ¿Qué pasa si lo empujas diez mil pasos seguidos? Esas tres preguntas separan a los simuladores de entornos de las televisiones muy impresionantes.

Lección 2: la consistencia fuera de cuadro es donde vive la mentira

Las observaciones más agudas de la reacción pública no tenían que ver con la calidad de imagen. La gente notó que en la demo de carreras de dragones, cuando la cámara vuelve hacia el castillo, una parte de su lado derecho (incluida la catapulta) ha desaparecido, y parece que ha aparecido un segundo castillo. Los peatones que se alejan de la cámara en el andén del tren cambian de identidad cuando la cámara regresa. Un motorista gana un casco entre un corte de atención y otro. El modelo mantiene la consistencia de forma preciosa para lo que sigue en cuadro, e improvisa en silencio lo que no.

He construido sistemas con exactamente este fallo, así que lo reconozco al instante. Es lo que obtienes cuando el estado del modelo es básicamente una ventana deslizante de fotogramas latentes recientes más lo que el mecanismo de atención consigue arrastrar. No hay mapa explícito, ni almacén de permanencia de objetos, ni grafo de escena. El modelo no sabe que hay un castillo; sabe que los últimos miles de tokens tenían pinta de castillo, y en cuanto esos tokens salen del contexto, la existencia del castillo se convierte en una moneda al aire ponderada por priores. Los castillos son comunes en escenas de dragones, así que aparece uno nuevo.

Un modelo que olvida lo que salió del encuadre no ha aprendido un mundo. Ha aprendido un presente muy seguro de sí mismo y muy plausible.

Aquí está la parte incómoda: esto puede valer para entretenimiento y ser totalmente descalificador para entrenar agentes. Si entrenas una política de robot dentro de un simulador, la política aprenderá lo que el simulador recompense. En un simulador sin permanencia de objetos, un agente puede «resolver» tareas esperando a que el mundo vuelva a tirar los dados: te alejas de un obstáculo y puede que no exista cuando te giras. La política resultante se transfiere a la realidad más o menos igual que una entrenada en un videojuego con la detección de colisiones rota. He visto a equipos quemar meses en brechas sim-to-real que se remontaban exactamente a esta clase de inconsistencia.

Conceptualmente, la solución es tratar la memoria como un componente arquitectónico de primera clase, y no como una propiedad emergente de la longitud del contexto. Ya sea una representación espacial explícita (estado de escena al estilo NeRF, mapas de vóxeles, ranuras de objetos) o una memoria latente mucho más larga e inteligente, el modelo tiene que poder responder a: ¿qué hay detrás de mí ahora mismo? sin volver a soñarlo. Que DeepMind se apoye en los modelos de razonamiento de Gemini para «dirigir y monitorizar» la coherencia de la escena me parece una admisión de esto: la coherencia tiene que ser vigilada por otro modelo porque el núcleo generativo no la mantiene de forma nativa. Es un parche pragmático, no una solución, y lo digo como descripción, no como insulto. Los parches pragmáticos son la manera en que se lanzan los sistemas reales.

Lección 3: la física en un espacio latente es un prior, no un solucionador

Los materiales de lanzamiento insisten en la aerodinámica, las colisiones y el movimiento humano natural, y las demos de romper sandías y de semillas cayendo sí parecen físicamente fluidas. Mi segundo gran error, históricamente, fue suponer que una física con aspecto fluido en un modelo generativo significa que el modelo ha interiorizado la física de forma en la que puedas confiar. No lo ha hecho. Ha aprendido las estadísticas visuales de la física a partir de enormes cantidades de video, algo muy distinto de un sistema de restricciones.

La pista está en el cambio de distribución. Los modelos de física latente clavan los casos comunes (una pelota rebota, el agua ondula, la tela se hincha con el viento, porque los datos de entrenamiento contienen millones de estos). Empuja hacia la cola de la distribución y los priores se agrietan. Un prompt de demo peleó duramente con el modelo para evitar un «aspecto de videojuego» pese a pedir fotorrealismo, porque un pavo real que se transforma en gato con una varita mágica está tan fuera de distribución que el modelo se deslizó hacia el género más cercano de sus priores, que al parecer es la animación 3D estilizada. La física aprendida como textura falla exactamente donde más querrías un simulador: en las situaciones nuevas que no puedes filmar.

La prueba del skater (crear una pista que engañe a un patinador de verdad) tiene la intuición correcta por la misma razón. Los skaters llevan un motor de física encarnado, afinado por miles de caídas. La transferencia de peso, el timing del pop, la forma en que el momento se intercambia con la fricción sobre el hormigón: si cualquiera de esas cosas sale sutilmente mal, parece incorrecta a un experto aunque a todos los demás les parezca bien. Los modelos del mundo latentes actuales no superan el escrutinio de expertos del dominio en mecánica, y apostaría en contra de que cualquier modelo entrenado solo con video lo supere pronto. La física está en las sombras de los datos, no en los pesos como una ley exigible.

Mi regla práctica ahora: trata la física de un modelo del mundo latente como a un artista de storyboard con talento, no como a un ingeniero. Te dibujará una explosión convincente. No garantizará que la metralla conserve el momento. Si tu caso de uso necesita garantías (manipulación robótica con mucho contacto, interacción fluido-estructura, validación de seguridad), sigues necesitando un motor de física real, y el trabajo interesante está en los sistemas híbridos. Es el mismo patrón que defendí en agentes de razonamiento híbridos: deja que el modelo aprendido maneje lo difuso y de alta dimensión, y deja que un componente verificable se encargue de los invariantes.

Lección 4: no entrenes agentes donde la verdad fundamental es un estado de ánimo

Cada anuncio de modelo del mundo incluye el argumento de la robótica, y Genie 4 no es la excepción: entornos de entrenamiento infinitamente variables para robots y agentes. Cada vez, una parte de los practicantes responde con un escepticismo justificado: no puedes entrenar un robot en un sueño. Ambos bandos tienen medio razón, y la resolución está en ser específico sobre qué agentes y qué habilidades.

Para el control motor de bajo nivel, los simuladores latentes son hoy una trampa. Una política de manipulación necesita retroalimentación de fuerza, dinámica de contacto y física repetible; un modelo que regenera geometría fuera de cuadro y aproxima colisiones a partir de estadísticas de video enseña políticas frágiles y explotadoras. Quien esté desplegando sim-to-real para agarres debería quedarse con MuJoCo, Isaac o simuladores de la clase de Bullet, y tratar las demos de modelos del mundo como una dirección de investigación a vigilar.

Para la toma de decisiones de alto nivel, en cambio, el cálculo se invierte. Las políticas de navegación, las pruebas de escenarios de conducción, los agentes web y de interfaces, los agentes de juegos, los planificadores de varios pasos: estos necesitan sobre todo consecuencias plausibles de las acciones, no una dinámica exacta a lo Newton. Ya hemos visto que el patrón funciona: sistemas de RL basados en modelos como Dreamer entrenan dentro de un modelo dinámico latente aprendido y se transfieren a tareas reales de Atari y control; Waymo y otros llevan tiempo usando modelos de comportamiento aprendidos de otros usuarios de la vía dentro de sus simulaciones. Un modelo del mundo generativo es esa idea escalada a entornos visuales abiertos. El error es exigirle a un único modelo que sirva tanto al planificador como al bucle de servo.

• Usa modelos del mundo latentes para: diversidad de escenarios, generación de eventos raros, evaluación de políticas de alto nivel, pruebas con humanos en el bucle, datos sintéticos para percepción.
• Usa motores de física para: manipulación con mucho contacto, control sensible a la dinámica, cualquier caso en que una colisión inconsistente una vez cada diez mil pasos envenene la señal de recompensa.
• No uses ninguno a ciegas: valida la política contra la realidad pronto y a menudo, porque todo simulador (aprendido o hecho a mano) tiene una brecha, y quieres encontrar la tuya en la semana dos, no en el mes nueve.

Lección 5: el audio y los diálogos en tiempo real cambian el producto, no la ciencia

Genie 4 es el primero de estos modelos que genera audio ambiente y diálogo interactivo de forma nativa, e internet lo pilló enseguida tocando un clarinete cuando le pidieron un saxofón. Gracioso, y también instructivo. La consistencia entre modalidades es el mismo problema de permanencia de objetos con otro sombrero: el cabezal de audio tiene su propia noción latente de la escena, y «instrumento de lengüeta simple de metal» está lo bastante cerca en el espacio de embeddings como para que la confusión se cuele. Espera una larga cola de estos fallos: pasos sobre nieve que suenan a grava, diálogos que responden a una pregunta que la escena ya dejó atrás.

Estratégicamente, sin embargo, el audio es un asunto más grande de lo que sugiere el error del saxofón. Un mundo silencioso es una demo; un mundo que suena es un producto. La dirección con lenguaje natural (cambia el clima, añade una persona, a mitad de la reproducción) es la otra mitad. Juntas convierten el modelo del mundo de un artefacto de investigación en un medio interactivo, que es claramente hacia donde quiere ir Google: Project Genie, suscripciones AI Ultra, socios de API. La predicción de que «las películas se convierten en videojuegos» es el final comercial obvio, y por una vez la rima del hype encaja.

Para quienes trabajamos en esto, la lección es separar mentalmente los dos hilos. El hilo de producto (en tiempo real, dirigible, audiovisual, monetizable) avanza rápido y producirá herramientas genuinamente útiles para prototipado, previsualización y narrativa interactiva en uno o dos años. El hilo científico (estado persistente, física causal, consistencia fiable a horizontes largos) avanza al ritmo de la investigación y no debe darse por resuelto porque la demo sea preciosa. Ya cometí el error de leer un hito de producto como si fuera un hito científico; así es como terminas diseñando un sistema alrededor de una capacidad que todavía no existe.

Lo que haría realmente hoy con esto

Si estás construyendo agentes, la jugada pragmática no ha cambiado: mantén tu pila de control sobre física real, pero empieza a experimentar con simuladores aprendidos para las capas por encima de ella: generación de escenarios, pruebas rápidas de políticas y datos sintéticos de percepción. La curva de costes aquí está bajando igual que lo hizo para la inferencia de LLM, y como escribí en por qué los benchmarks de IA no reflejan el trabajo real, los equipos que ganan son los que evalúan sobre su distribución real de tareas en lugar de demos públicas. Construye un arnés que despliegue el modelo del mundo durante miles de pasos interactivos y mida los fallos de consistencia: reaparición de objetos, deriva de geometría, violaciones causales. Ese arnés te dirá más que cualquier vídeo de lanzamiento.

Vigila también el lado de pesos abiertos: HY-World 2.0 de Tencent recibió una fracción de la atención que Genie 4, y si la historia de los LLM y los modelos de imagen sirve de guía, el ecosistema abierto es donde los practicantes realmente aprenderán cómo funcionan estos sistemas. No puedes inspeccionar una vista previa de investigación detrás de una lista de espera. Puedes afinar, sondear y romper algo que puedes descargar, y el sondeo importa: como con el trabajo de interpretabilidad mecanicista, los hallazgos interesantes salen de presionar la red, no de admirarla.

El resumen honesto: Genie 4 es un paso real en el eje difícil (la interactividad), no solo en el eje fácil de píxeles más bonitos. Pero la distancia entre «mantiene una escena mientras la miras» y «simula un mundo» sigue siendo grande, y es exactamente la brecha que importa para entrenar agentes. Llámalo modelo del mundo si quieres. Solo recuerda que un mundo, a diferencia de un video, sigue ahí cuando te das la vuelta. Estos, en su mayoría, no lo hacen; todavía no.