वर्ल्ड मॉडल बनाम वीडियो प्रेडिक्शन: मुझसे कहाँ चूक हुई

जब Genie 4 के डेमो सामने आए, तो मेरी पहली प्रतिक्रिया वही थी जो Sora के बाद से रहती है: यह एक बहुत अच्छा वीडियो जनरेटर है, तो हम इसे वर्ल्ड मॉडल क्यों कह रहे हैं? क्लिप्स को परखने और मुझसे कहीं समझदार लोगों की प्रतिक्रियाएँ पढ़ने में एक दिन लगा, और उसने इस फ्रेमिंग पर मेरी राय बदल दी। साथ ही इसने मुझे उन तीन गलतियों की याद दिलाई जो मैंने सिमुलेशन के काम में वर्ल्ड मॉडल बनाते और परखते समय की हैं। यह DeepMind की रिलीज़ का रिव्यू नहीं है। यह उस फर्क के बारे में महंगे तरीके से सीखे गए सबक हैं कि वीडियो प्रेडिक्ट करना और किसी एनवायरनमेंट को सिमुलेट करना एक ही बात नहीं है, और डेमो इन दोनों को आपस में मिलाना आसान बना देते हैं।

सबक 1: वर्ल्ड मॉडल एक ट्रांज़िशन फंक्शन है, कोई मूवी नहीं

लंबे समय तक मैं जो गलती करता रहा — और Genie 4 पर आने वाली ज़्यादातर हॉट टेक्स में जो गलती दिखती है — वह है इंटरैक्टिव सिमुलेशन को उसी पैमाने से आंकना जो हम वीडियो जनरेशन के लिए इस्तेमाल करते हैं। प्रॉम्प्ट डालो, क्लिप निकलती है, फिर हम फिडेलिटी, मोशन की सहजता और प्रॉम्प्ट के पालन को परखते हैं। बस। यह पैमाना जिस चीज़ को बनाया जा रहा है, उसका असली मकसद ही छोड़ देता है।

वीडियो जनरेटर p(frames | prompt) सीखता है। वर्ल्ड मॉडल इसके बजाय कुछ ऐसा सीखता है जो p(next_state | current_state, action) के ज़्यादा करीब है। यह फर्क तब तक किताबी लगता है जब तक आप इसे परखना शुरू न करें। वीडियो प्रेडिक्शन में प्लेबैक के दौरान आप जो भी करें, उससे कुछ नहीं बदलता; वहाँ कोई 'आप' होता ही नहीं। वर्ल्ड मॉडल में एक एजेंट (या कीबोर्ड वाला यूज़र) हर स्टेप पर एक्शन डालता है, और मॉडल को उन पर कंडीशन होना पड़ता है। जैसे ही इंटरैक्शन की अनुमति मिलती है, आप जेनरेटिव आर्ट की समस्या से कंट्रोल-थ्योरी जैसी समस्या में पहुँच जाते हैं: सिस्टम को ऐसे इनपुट्स पर प्रतिक्रिया देनी होती है जो उसने कभी देखे ही नहीं, और ऐसी स्टेट्स में जहाँ वह अपने आप बहक जाता है, बिना किसी अंत के।

इसीलिए Genie 4 का कीबोर्ड नेविगेशन और सीन के बीच टेक्स्ट से दिशा बदलने की सुविधा उसकी फोटोरियलिज़्म से ज़्यादा मायने रखती है। इस पीढ़ी के मॉडलों में फोटोरियलिज़्म तो न्यूनतम शर्त है; Sora 2 और Veo 3 यह बार पहले ही पार कर चुके हैं। असली रिसर्च योगदान है रीयल-टाइम एक्शन कंडीशनिंग — की दबाओ, दुनिया कारणात्मक रूप से प्रतिक्रिया दे और लगातार सुसंगत बनी रहे। जब लोग डेमो को सिर्फ इमेज क्वालिटी पर अंक देते हैं, तो वे फ्लाइट सिमुलेटर को इस आधार पर आंक रहे होते हैं कि उसकी खिड़कियाँ कितनी सुंदर दिखती हैं।

इस भ्रम को सुलझाने का व्यावहारिक तरीका: किसी भी दावे वाले वर्ल्ड मॉडल को परखने से पहले, एक भी पिक्सल देखे बिना तीन सवाल पूछें। क्या यह इनफरेंस के समय एक्शन लेता है, या सिर्फ प्रॉम्प्ट? क्या एक ही स्टेट में वही एक्शन हमेशा वही असर करता है? और अगर इसे लगातार दस हज़ार स्टेप तक छेड़ा जाए तो क्या होता है? इन तीन सवालों से एनवायरनमेंट सिमुलेटर और बहुत प्रभावशाली टेलीविज़न अलग-अलग पहचाने जाते हैं।

सबक 2: ऑफ-स्क्रीन कंसिस्टेंसी में ही झूठ छिपा होता है

सार्वजनिक प्रतिक्रियाओं में सबसे पैनी बातें इमेज क्वालिटी पर थीं ही नहीं। लोगों ने देखा कि ड्रैगन-रेसिंग डेमो में, जब कैमरा वापस किले की ओर घूमता है, तो उसका दाहिना हिस्सा — कैटापल्ट समेत — गायब हो चुका है, और एक दूसरा किला अचानक प्रकट हो गया लगता है। ट्रेन प्लेटफ़ॉर्म पर कैमरे से दूर जाते पैदल यात्रियों की पहचान कैमरा लौटने पर बदल जाती है। एक मोपेड सवार का हेलमेट कट्स के बीच में अचानक आ जाता है। मॉडल जो फ्रेम में रहता है उसे खूबसूरती से संभालता है, और जो फ्रेम से बाहर चला जाता है उसे चुपचाप गढ़ लेता है।

मैंने ठीक इसी विफलता वाले सिस्टम बनाए हैं, इसलिए यह मैं तुरंत पहचान लेता हूँ। यह तब होता है जब मॉडल की स्टेट मूलतः हाल के लेटेंट फ्रेम्स की एक खिसकती विंडो और अटेंशन मैकेनिज़्म जो कुछ ढो सके, उतनी भर होती है। कोई स्पष्ट मैप नहीं, कोई ऑब्जेक्ट पर्मानेंस स्टोर नहीं, कोई सीन ग्राफ नहीं। मॉडल को पता नहीं होता कि वहाँ किला है; उसे बस इतना पता होता है कि पिछले कुछ हज़ार टोकन किले जैसे दिखते थे, और जैसे ही वे टोकन कॉन्टेक्स्ट से बाहर खिसकते हैं, किले का होना प्रायर्स से भारित सिक्का उछालने जैसा हो जाता है। ड्रैगन वाले दृश्यों में किले आम हैं, इसलिए एक नया किला बन जाता है।

जो मॉडल भूल जाता है कि फ्रेम से क्या बाहर गया, उसने दुनिया नहीं सीखी। उसने वर्तमान की एक बहुत आत्मविश्वासी, बहुत विश्वसनीय तस्वीर सीखी है।

असहज सच यह है: मनोरंजन के लिए यह शायद ठीक है, पर एजेंट ट्रेनिंग के लिए पूरी तरह अयोग्य। अगर आप सिमुलेटर के अंदर रोबोट पॉलिसी ट्रेन कर रहे हैं, तो पॉलिसी वही सीखेगी जो सिमुलेटर इनाम देता है। ऐसे सिमुलेटर में जिसमें ऑब्जेक्ट पर्मानेंस न हो, एजेंट कार्य 'हल' कर सकता है: किसी रुकावट से दूर चले जाओ, और मुड़कर देखने पर शायद वह रुकावट मौजूद ही न हो। ऐसी पॉलिसी असलियत में उतना ही काम करेगी जितना टूटी हुई कोलिज़न डिटेक्शन वाले वीडियो गेम में सीखी गई पॉलिसी। मैंने टीमों को महीनों ऐसी सिम-टू-रियल गैप सुलझाते देखा है, जिनकी जड़ें इसी किस्म की असंगति में निकलीं।

वैचारिक स्तर पर इसका समाधान है कि मेमोरी को संदर्भ-लंबाई से उभरने वाली चीज़ नहीं, बल्कि आर्किटेक्चर का पहला दर्जे का घटक माना जाए। चाहे वह स्पष्ट स्पेसियल रिप्रेज़ेंटेशन हो (NeRF-शैली की सीन स्टेट, वॉक्सल मैप, ऑब्जेक्ट स्लॉट्स) या कहीं ज़्यादा लंबी और स्मार्ट लेटेंट मेमोरी, मॉडल को यह जवाब देने में सक्षम होना चाहिए: अभी मेरे पीछे क्या है? बिना उसे दोबारा सपने में गढ़े। मुझे DeepMind का 'स्टीयर और मॉनिटर' के लिए Gemini के रीज़निंग मॉडल पर निर्भर होना इसी बात की स्वीकारोक्ति लगती है: कोहेरेंस अभी दूसरे मॉडल द्वारा संभालनी पड़ती है क्योंकि जेनरेटिव कोर उसे मूल रूप से नहीं रखता। यह एक व्यावहारिक पैबंद है, समाधान नहीं, और मैं यह विवरण के तौर पर कह रहा हूँ, अपमान के तौर पर नहीं। असली सिस्टम ऐसे ही पैबंदों से शिप होते हैं।

सबक 3: लेटेंट स्पेस में फिज़िक्स एक प्रायर है, सॉल्वर नहीं

रिलीज़ मटीरियल एयरोडायनामिक्स, टक्करों और प्राकृतिक मानवीय गति पर ज़ोर देता है, और तरबूज़ फोड़ने और गिरते बीज वाले डेमो सच में फिज़िकली धाराप्रवाह लगते हैं। इतिहास में मेरी दूसरी बड़ी गलती यह मानना थी कि जनरेटिव मॉडल में धाराप्रवाह दिखने वाली फिज़िक्स का मतलब है कि मॉडल ने फिज़िक्स को ऐसे आत्मसात कर लिया है कि आप उस पर भरोसा कर सकें। ऐसा नहीं है। उसने विशाल मात्रा के वीडियो से फिज़िक्स के विज़ुअल आँकड़े सीखे हैं, जो किसी बाध्यता-प्रणाली से बहुत अलग चीज़ है।

इसका संकेत डिस्ट्रीब्यूशन शिफ्ट में मिलता है। लेटेंट फिज़िक्स मॉडल सबसे आम मामलों में सटीक होते हैं — गेंद उछलती है, पानी में लहरें उठती हैं, हवा में कपड़ा फड़फड़ाता है, क्योंकि ट्रेनिंग डेटा में ऐसे लाखों उदाहरण हैं। पर जैसे ही आप टेल की ओर बढ़ते हैं, प्रायर टूटने लगते हैं। एक डेमो प्रॉम्प्ट में फोटोरियलिज़्म माँगने के बावजूद मॉडल 'वीडियो गेम जैसे लुक' से लड़ता रहा, क्योंकि जादुई छड़ी से मोर का बिल्ली में बदलना इतना ऑफ-डिस्ट्रीब्यूशन है कि मॉडल अपने प्रायर्स में सबसे नज़दीकी प्लॉज़िबल जॉनर की ओर खिसक गया, जो ज़ाहिर है स्टाइलाइज़्ड 3D एनिमेशन था। फिज़िक्स को टेक्सचर की तरह सीखने पर वह ठीक वहीं विफल होती है जहाँ आपको सिमुलेटर की सबसे ज़्यादा ज़रूरत होती है: वे नई स्थितियाँ जिन्हें आप फिल्मा ही नहीं सकते।

स्केटबोर्डर टेस्ट — ऐसी लाइन बनाओ जो असली स्केटर को धोखा दे दे — उसी कारण से सही सहज ज्ञान है। स्केटर्स के भीतर एक अनुभवजन्य फिज़िक्स इंजन होता है, जिसे हज़ारों गिरावटों ने ट्यून किया है। वज़न का ट्रांसफर, पॉप का समय, कंक्रीट पर गति और घर्षण का आपस में सौदा: इनमें से कुछ भी थोड़ा गलत हो तो विशेषज्ञ को वह गलत लगता है, भले ही बाकी सबको ठीक दिखे। मौजूदा लेटेंट वर्ल्ड मॉडल मैकेनिक्स की विशेषज्ञ जाँच पास नहीं करते, और मैं किसी शुद्ध वीडियो-ट्रेन्ड मॉडल के जल्द पास करने पर दाँव नहीं लगाऊँगा। फिज़िक्स डेटा की परछाइयों में है, वेट्स में एक लागू होने योग्य नियम की तरह नहीं।

अब मेरा नियम यह है: लेटेंट वर्ल्ड मॉडल की फिज़िक्स को इंजीनियर नहीं, एक प्रतिभाशाली स्टोरीबोर्ड आर्टिस्ट की तरह समझो। वह आपके लिए एक विश्वसनीय विस्फोट बना देगा। पर यह गारंटी नहीं देगा कि छर्रे संवेग संरक्षित करेंगे। अगर आपके उपयोग में गारंटी चाहिए — कॉन्टैक्ट-हैवी रोबोट मैनिपुलेशन, फ्लुइड-स्ट्रक्चर इंटरैक्शन, सुरक्षा सत्यापन — तो आपको अब भी असली फिज़िक्स इंजन चाहिए, और दिलचस्प काम हाइब्रिड सिस्टम्स में है। यही पैटर्न मैं हाइब्रिड रीज़निंग एजेंट्स के लिए भी दे चुका हूँ: हाई-डाइमेंशनल, धुंधले हिस्से को सीखा हुआ मॉडल सँभाले, और इन्वेरिएंट्स की ज़िम्मेदारी एक सत्यापित योग्य घटक को दी जाए।

सबक 4: उन एजेंट्स को ट्रेन मत करो जहाँ ग्राउंड ट्रुथ कोई मूड है

हर वर्ल्ड-मॉडल घोषणा में रोबोटिक्स वाली पिच होती है, और Genie 4 भी अपवाद नहीं: रोबोट्स और एजेंट्स के लिए अनंत रूप से बदलने योग्य ट्रेनिंग एनवायरनमेंट। हर बार प्रैक्टिशनर्स का एक हिस्सा जायज़ संदेह जताता है — सपने में रोबोट ट्रेन नहीं किया जा सकता। दोनों पक्ष आधे सही हैं, और समाधान इस पर स्पष्टता में है कि कौन से एजेंट और कौन से कौशल।

लो-लेवल मोटर कंट्रोल के लिए लेटेंट सिमुलेटर अभी एक जाल हैं। मैनिपुलेशन पॉलिसी को फोर्स फीडबैक, कॉन्टैक्ट डायनामिक्स और दोहराने योग्य फिज़िक्स चाहिए; ऐसा मॉडल जो ऑफ-स्क्रीन ज्योमेट्री को रीरोल करता है और वीडियो आँकड़ों से टक्करें अनुमानित करता है, नाज़ुक और शोषणकारी पॉलिसियाँ सिखाता है। ग्रैस्पिंग के लिए सिम-टू-रियल शिप करने वाले लोगों को MuJoCo, Isaac या Bullet श्रेणी के सिमुलेटर पर ही रहना चाहिए, और वर्ल्ड-मॉडल डेमो को एक शोध दिशा मानकर देखते रहना चाहिए।

हाई-लेवल डिसीज़न मेकिंग के लिए, हालाँकि, गणित पलट जाता है। नेविगेशन पॉलिसी, ड्राइविंग सिनेरियो टेस्टिंग, वेब-और-UI एजेंट्स, गेम खेलने वाले एजेंट्स, मल्टी-स्टेप प्लानर — इन्हें ज़्यादातर एक्शनों के प्लॉज़िबल परिणामों की ज़रूरत होती है, न्यूटन-सटीक डायनामिक्स की। यह पैटर्न काम करता हुआ हम पहले ही देख चुके हैं: Dreamer जैसे मॉडल-आधारित RL सिस्टम एक सीखे हुए लेटेंट डायनामिक्स मॉडल के भीतर ट्रेन होते हैं और असली Atari और कंट्रोल कार्यों में ट्रांसफर होते हैं; Waymo और अन्य लंबे समय से अपने सिमुलेटर में सड़क के दूसरे उपयोगकर्ताओं के सीखे हुए व्यवहार मॉडल इस्तेमाल करते रहे हैं। जनरेटिव वर्ल्ड मॉडल इसी विचार का खुले-अंत वाले विज़ुअल एनवायरनमेंट तक विस्तार है। गलती तब होती है जब एक ही मॉडल से प्लानर और सर्वो लूप दोनों की सेवा की माँग की जाए।

• लेटेंट वर्ल्ड मॉडल इनके लिए इस्तेमाल करें: सिनेरियो विविधता, दुर्लभ घटनाओं का जनरेशन, हाई-लेवल पॉलिसी मूल्यांकन, ह्यूमन-इन-द-लूप टेस्टिंग, परसेप्शन के लिए सिंथेटिक डेटा।
• फिज़िक्स इंजन इनके लिए इस्तेमाल करें: कॉन्टैक्ट-हैवी मैनिपुलेशन, डायनामिक्स-संवेदी कंट्रोल, और ऐसी कोई भी जगह जहाँ दस हज़ार स्टेप में एक बार की असंगत टक्कर भी रिवॉर्ड सिग्नल को ज़हरीला कर दे।
• दोनों में से किसी पर आँख मूँदकर भरोसा न करें: पॉलिसी को जल्दी और बार-बार असलियत से सत्यापित करें, क्योंकि हर सिमुलेटर — चाहे सीखा हुआ हो या हाथ से बना — में एक गैप होता है, और अपना गैप आप दूसरे हफ्ते में ढूँढना चाहते हैं, नौवें महीने में नहीं।

सबक 5: रीयल-टाइम ऑडियो और संवाद प्रोडक्ट बदलते हैं, विज्ञान नहीं

Genie 4 इनमें पहला मॉडल है जो परिवेशी ऑडियो और इंटरैक्टिव संवाद स्वाभाविक रूप से जनरेट करता है, और इंटरनेट ने तुरंत पकड़ लिया कि सैक्सोफोन माँगे जाने पर यह क्लेरिनेट बजा रहा था। मज़ेदार है, और सिखाने वाला भी। क्रॉस-मोडल कंसिस्टेंसी वही ऑब्जेक्ट-पर्मानेंस समस्या है, बस दूसरी टोपी पहनकर। ऑडियो हेड के पास सीन की अपनी लेटेंट धारणा है, और 'ब्रास सिंगल-रीड इंस्ट्रुमेंट' एम्बेडिंग स्पेस में इतना करीब है कि गड़बड़ निकल जाती है। ऐसी और भी बातों की लंबी सूची की उम्मीद करें — बर्फ पर कदमों की आवाज़ जो बजरी जैसी लगे, या ऐसा संवाद जो उस सवाल का जवाब दे जिसे दृश्य पहले ही पीछे छोड़ चुका है।

रणनीतिक रूप से, हालाँकि, ऑडियो सैक्सोफोन वाली गलती से जितना सुझाता है उससे कहीं बड़ी बात है। बिना आवाज़ की दुनिया एक डेमो है; आवाज़ वाली दुनिया एक प्रोडक्ट है। प्राकृतिक-भाषा से दिशा देना — मौसम बदलो, बीच स्ट्रीम में कोई व्यक्ति जोड़ो — दूसरा हिस्सा है। साथ मिलकर ये वर्ल्ड मॉडल को रिसर्च आर्टिफैक्ट से इंटरैक्टिव माध्यम बना देते हैं, और Google साफ तौर पर यही चाहता है: Project Genie, AI Ultra सब्सक्रिप्शन, API पार्टनर। 'फिल्में वीडियो गेम बन जाएँगी' वाली भविष्यवाणी स्पष्ट व्यावसायिक अंत है, और इस बार हाइप की तुकबंदी सच में फिट बैठती है।

प्रैक्टिशनर्स के लिए सबक है कि ये दो धागे अपने दिमाग में अलग रखें। प्रोडक्ट वाला धागा (रीयल-टाइम, नियंत्रित करने योग्य, ऑडियो-विज़ुअल, मुद्रीकरण योग्य) तेज़ी से आगे बढ़ रहा है और एक-दो साल में प्रोटोटाइपिंग, प्रीविज़ुअलाइज़ेशन और इंटरैक्टिव स्टोरीटेलिंग के लिए सच में उपयोगी टूल देगा। विज्ञान वाला धागा (स्थायी स्टेट, कारणात्मक फिज़िक्स, भरोसेमंद लंबी-अवधि कंसिस्टेंसी) शोध की रफ्तार से चल रहा है, और सिर्फ इसलिए इसे हल हुआ नहीं मानना चाहिए क्योंकि डेमो शानदार है। मैंने पहले भी प्रोडक्ट माइलस्टोन को विज्ञान माइलस्टोन समझने की गलती की है; इसी तरह आप ऐसी क्षमता के इर्द-गिर्द सिस्टम डिज़ाइन कर बैठते हैं जो अभी मौजूद ही नहीं।

आज इसके साथ मैं वास्तव में क्या करूँगा

अगर आप एजेंट बना रहे हैं, तो व्यावहारिक रणनीति अभी भी वही है: अपना कंट्रोल स्टैक असली फिज़िक्स पर रखें, पर उसके ऊपर की परतों के लिए सीखे हुए सिमुलेटर आज़माना शुरू करें — सिनेरियो जनरेशन, पॉलिसी स्मोक-टेस्टिंग, और सिंथेटिक परसेप्शन डेटा। यहाँ लागत की ढलान उसी तरह गिर रही है जैसे LLM इनफरेंस के लिए गिरी थी, और जैसा मैंने AI बेंचमार्क असली काम क्यों चूकते हैं में लिखा था, जीतने वाली टीमें वे होती हैं जो सार्वजनिक डेमो के बजाय अपने वास्तविक कार्य-वितरण पर मूल्यांकन करती हैं। एक हार्नेस बनाएँ जो वर्ल्ड मॉडल को हज़ारों इंटरैक्टिव स्टेप तक रोल आउट करे और कंसिस्टेंसी की विफलताएँ मापे — ऑब्जेक्ट का दोबारा प्रकट होना, ज्योमेट्री का बहना, कारणात्मक उल्लंघन। यह हार्नेस आपको किसी भी लॉन्च वीडियो से ज़्यादा बताएगा।

ओपन-वेट्स वाले पक्ष पर भी नज़र रखें — Tencent के HY-World 2.0 को Genie 4 के मुकाबले बहुत कम ध्यान मिला, जबकि LLM और इमेज मॉडल के इतिहास को देखें तो खुला इकोसिस्टम ही वह जगह है जहाँ प्रैक्टिशनर्स सच में समझेंगे कि ये सिस्टम कैसे काम करते हैं। वेटलिस्ट के पीछे छिपे रिसर्च प्रिव्यू को आप इंट्रोस्पेक्ट नहीं कर सकते। जिसे आप डाउनलोड कर सकते हैं, उसे फाइन-ट्यून, प्रोब और तोड़ सकते हैं, और प्रोबिंग मायने रखती है: मेकेनिस्टिक इंटरप्रिटेबिलिटी के काम की तरह, दिलचस्प खोजें नेटवर्क को कुरेदने से आती हैं, उसे निहारने से नहीं।

ईमानदार सार: Genie 4 एक कठिन धुरी — इंटरैक्टिविटी — पर असली कदम है, सिर्फ आसान धुरी यानी ज़्यादा सुंदर पिक्सल पर नहीं। पर 'जब आप देख रहे हों तब सीन को बनाए रखना' और 'दुनिया का सिमुलेशन करना' के बीच का फासला अब भी बहुत बड़ा है, और यही फासला एजेंट ट्रेनिंग के लिए मायने रखता है। चाहें तो इसे वर्ल्ड मॉडल कह लें। बस याद रखें कि वीडियो के विपरीत, दुनिया तब भी वहीं रहती है जब आप मुड़ते हैं। ये मॉडल ज़्यादातर अभी ऐसा नहीं करते।