World Model vs Prediksi Video: Apa yang Saya Salah Pahami

Ketika demo Genie 4 rilis, reaksi pertama saya sama seperti waktu Sora: ini generator video yang sangat bagus, kenapa kita menyebutnya world model? Sehari mengutak-atik klip dan membaca reaksi orang-orang yang lebih pintar dari saya mengubah cara pandang saya soal penamaannya, dan mengingatkan saya pada tiga kesalahan yang pernah saya buat saat membangun dan mengevaluasi world model dalam pekerjaan simulasi. Ini bukan ulasan rilis DeepMind. Ini kumpulan pelajaran yang saya dapat dengan cara mahal tentang perbedaan antara memprediksi video dan mensimulasikan lingkungan, karena demo-demo itu bikin keduanya gampang tertukar.

Pelajaran 1: World Model Adalah Fungsi Transisi, Bukan Film

Kesalahan yang saya buat sekian lama, dan yang saya lihat di sebagian besar opini panas soal Genie 4, adalah mengevaluasi simulasi interaktif dengan rubrik yang kita pakai untuk generasi video. Prompt masuk, klip keluar, lalu kita nilai fidelitas, kehalusan gerak, dan kesesuaian dengan prompt. Selesai. Rubrik itu melewatkan inti dari apa yang sedang dibangun.

Generator video mempelajari p(frames | prompt). World model mempelajari sesuatu yang lebih mirip p(next_state | current_state, action). Bedanya terdengar akademis sampai kamu mencobanya langsung. Dalam prediksi video, apa pun yang kamu lakukan saat pemutaran tidak mengubah apa-apa; tidak ada 'kamu'. Dalam world model, agen (atau pengguna dengan keyboard) memasukkan aksi di setiap langkah, dan model harus merespons aksi itu. Begitu interaksi diizinkan, kamu sudah pindah dari masalah seni generatif ke masalah yang lebih mirip teori kontrol: sistem harus merespons input yang tidak pernah ditunjukkan kepadanya, dalam kondisi yang ia masuki sendiri, tanpa henti.

Inilah kenapa navigasi keyboard Genie 4 dan kemudi teks di tengah adegan lebih penting daripada fotorealismenya. Fotorealisme sudah jadi syarat minimum di generasi model ini; Sora 2 dan Veo 3 sudah melewati standar itu. Kondisi aksi real-time, yaitu tekan tombol lalu dunia merespons secara kausal dan terus merespons dengan koheren, itulah kontribusi riset yang sebenarnya. Ketika saya melihat orang menilai demo hanya dari kualitas gambar, rasanya seperti menilai simulator penerbangan dari bagusnya jendela kacanya.

Solusi praktis untuk kebingungan ini: saat mengevaluasi klaim world model apa pun, tanyakan tiga hal sebelum melihat satu piksel pun. Apakah ia menerima aksi saat inferensi, atau hanya prompt? Apakah aksi yang sama di state yang sama menghasilkan hal yang sama? Dan apa yang terjadi kalau kamu mendorongnya sepuluh ribu langkah berturut-turut? Tiga pertanyaan ini memisahkan simulator lingkungan dari televisi yang sangat mengesankan.

Pelajaran 2: Konsistensi di Luar Layar Adalah Tempat Kebohongan Bersembunyi

Pengamatan paling tajam dalam reaksi publik sama sekali bukan soal kualitas gambar. Orang-orang memperhatikan bahwa di demo balap naga, saat kamera berbelok kembali ke arah kastil, sebagian sisi kanannya termasuk katapelnya lenyap, dan muncul kastil kedua entah dari mana. Pejalan kaki yang menjauh dari kamera di peron kereta berubah identitas saat kamera kembali. Seorang pengendara motor tiba-tiba memakai helm di antara dua potongan gambar. Model menjaga konsistensi dengan indah untuk apa pun yang ada di dalam frame, dan diam-diam mengarang apa pun yang di luar frame.

Saya pernah membangun sistem dengan mode kegagalan persis seperti ini, jadi langsung mengenalinya. Ini yang terjadi ketika state model pada dasarnya hanyalah jendela geser dari latent frame terbaru ditambah apa pun yang bisa dibawa mekanisme attention. Tidak ada peta eksplisit, tidak ada penyimpanan object permanence, tidak ada scene graph. Model tidak tahu ada kastil; ia hanya tahu bahwa beberapa ribu token terakhir terlihat seperti kastil, dan begitu token-token itu keluar dari konteks, keberadaan kastil menjadi lemparan koin yang dibobot oleh prior. Kastil itu umum di adegan naga, jadi satu kastil baru pun muncul.

Model yang melupakan apa yang keluar dari frame belum mempelajari sebuah dunia. Ia baru mempelajari masa kini yang sangat yakin dan sangat masuk akal.

Bagian yang tidak nyaman: ini mungkin tidak masalah untuk hiburan, tapi sangat fatal untuk pelatihan agen. Kalau kamu melatih kebijakan robot di dalam simulator, kebijakan itu akan belajar apa pun yang diberi imbalan oleh simulator. Di simulator tanpa object permanence, agen bisa 'menyelesaikan' tugas dengan menunggu dunia mengocok ulang dadu: jalan menjauh dari rintangan dan rintangan itu mungkin sudah tidak ada saat kamu berbalik. Kebijakan hasilnya akan berpindah ke dunia nyata kurang lebih sebaik kebijakan yang dilatih di game dengan deteksi tabrakan yang rusak. Saya sudah melihat tim menghabiskan berbulan-bulan untuk celah sim-to-real yang ternyata berakar pada jenis inkonsistensi ini.

Secara konseptual, solusinya adalah menjadikan memori sebagai komponen arsitektur kelas satu, bukan properti yang muncul dengan sendirinya dari panjang konteks. Entah itu representasi spasial eksplisit (state scene gaya NeRF, peta voxel, object slot) atau memori laten yang jauh lebih panjang dan cerdas, model perlu bisa menjawab: apa yang ada di belakangku sekarang? tanpa harus memimpikannya ulang. Dari sudut pandang saya, DeepMind yang mengandalkan model penalaran Gemini untuk 'mengarahkan dan memantau' koherensi scene itu adalah pengakuan atas masalah ini: koherensi saat ini harus 'dijaga' oleh model lain karena inti generatifnya tidak memegangnya secara native. Itu tambalan pragmatis, bukan solusi, dan saya mengatakannya sebagai deskripsi, bukan hinaan. Tambalan pragmatis adalah cara sistem nyata dirilis.

Pelajaran 3: Fisika dalam Ruang Laten Adalah Prior, Bukan Solver

Materi rilis menekankan aerodinamika, tabrakan, dan gerak manusia yang natural, dan demo semangka pecah serta biji yang jatuh memang terlihat fisikanya lancar. Kesalahan besar kedua saya di masa lalu adalah mengira fisika yang terlihat lancar di model generatif berarti model itu sudah menginternalisasi fisika dengan cara yang bisa diandalkan. Belum. Model itu hanya mempelajari statistik visual dari fisika, dari sejumlah besar video, dan itu sangat berbeda dengan sistem constraint.

Tanda-tandanya terlihat pada distribution shift. Model fisika laten sangat jitu untuk kasus yang paling umum: bola memantul, air beriak, kain berkibar tertiup angin, karena data latihnya berisi jutaan contoh seperti itu. Dorong ke ekor distribusi dan prior-nya retak. Salah satu prompt demo berjuang keras melawan model agar tidak terlihat seperti 'tampilan video game' meskipun memintanya fotorealistik, karena merpati yang berubah menjadi kucing lewat tongkat sihir terlalu jauh dari distribusi, sehingga model meluncur ke genre terdekat dalam prior-nya, yang ternyata animasi 3D bergaya. Fisika yang dipelajari sebagai tekstur gagal tepat di saat kamu paling membutuhkan simulator: situasi baru yang tidak bisa kamu rekam.

Tes skateboarder, yaitu membuat lintasan yang bisa mengelabui skater sungguhan, adalah insting yang tepat karena alasan yang sama. Skater membawa mesin fisika terwujud yang dilatih oleh ribuan kali jatuh. Perpindahan berat, timing pop, cara momentum bertukar dengan gesekan di beton: kalau salah sedikit saja, itu terasa salah bagi ahli meskipun terlihat baik-baik saja bagi orang lain. Model world laten saat ini belum lolos pemeriksaan pakar domain soal mekanika, dan saya berani bertaruh model yang dilatih hanya dari video tidak akan lolos dalam waktu dekat. Fisikanya ada di bayang-bayang data, bukan di bobot sebagai hukum yang bisa ditegakkan.

Aturan praktis saya sekarang: perlakukan fisika world model laten seperti seniman storyboard yang berbakat, bukan insinyur. Ia akan menggambarkan ledakan yang meyakinkan. Ia tidak akan menjamin pecahan logamnya mengekalkan momentum. Kalau use case kamu butuh jaminan, seperti manipulasi robot yang kaya kontak, interaksi fluida-struktur, atau validasi keselamatan, kamu tetap butuh mesin fisika sungguhan, dan pekerjaan yang menarik ada di sistem hibrida. Ini pola yang sama dengan yang saya bahas di agen penalaran hibrida: biarkan model yang dipelajari menangani hal-hal fuzzy berdimensi tinggi, dan biarkan komponen yang bisa diverifikasi menangani invarian.

Pelajaran 4: Jangan Melatih Agen di Tempat Kebenaran Dasarnya Hanya Suasana Hati

Setiap pengumuman world model selalu menyertakan janji robotika, dan Genie 4 juga begitu: lingkungan latihan yang bisa diubah tanpa batas untuk robot dan agen. Setiap kali, sebagian praktisi merespons dengan skeptis yang beralasan: kamu tidak bisa melatih robot di dalam mimpi. Kedua sisi sama-sama benar setengah, dan jalan keluarnya adalah spesifik soal agen mana dan keterampilan apa.

Untuk kontrol motorik tingkat rendah, simulator laten saat ini adalah jebakan. Kebijakan manipulasi butuh umpan balik gaya, dinamika kontak, dan fisika yang bisa diulang; model yang mengocok ulang geometri di luar layar dan memperkirakan tabrakan dari statistik video akan menghasilkan kebijakan yang rapuh dan mengeksploitasi celah. Siapa pun yang mengirim sim-to-real untuk grasping sebaiknya tetap pakai simulator kelas MuJoCo, Isaac, atau Bullet, dan memperlakukan demo world model sebagai arah riset yang perlu diawasi.

Namun untuk pengambilan keputusan tingkat tinggi, perhitungannya berbalik. Kebijakan navigasi, pengujian skenario berkendara, agen web dan UI, agen game, perencana multi-langkah: kebanyakan membutuhkan konsekuensi aksi yang masuk akal, bukan dinamika yang persis seperti Newton. Kita sudah melihat polanya berhasil: sistem model-based RL seperti Dreamer dilatih di dalam model dinamika laten yang dipelajari dan berpindah ke tugas Atari dan kontrol sungguhan; Waymo dan lainnya sudah lama memakai model perilaku pengguna jalan lain yang dipelajari di dalam simulasi mereka. World model generatif adalah ide ini yang diskalakan ke lingkungan visual yang terbuka. Kesalahannya adalah menuntut satu model melayani baik planner maupun servo loop.

• Gunakan world model laten untuk: keragaman skenario, pembuatan kejadian langka, evaluasi kebijakan tingkat tinggi, pengujian dengan manusia di lingkaran, data sintetis untuk persepsi.
• Gunakan mesin fisika untuk: manipulasi yang kaya kontak, kontrol yang sensitif terhadap dinamika, apa pun di mana satu tabrakan yang tidak konsisten dari sepuluh ribu langkah bisa merusak sinyal imbalan.
• Jangan pakai keduanya secara membabi buta: validasi kebijakan terhadap kenyataan sejak dini dan sering, karena setiap simulator, baik yang dipelajari maupun yang dibuat tangan, punya celah, dan kamu ingin menemukan celahmu di minggu kedua, bukan di bulan kesembilan.

Pelajaran 5: Audio dan Dialog Real-Time Mengubah Produk, Bukan Sains

Genie 4 adalah model pertama yang menghasilkan audio ambient dan dialog interaktif secara native, dan internet langsung menangkapnya memainkan klarinet ketika diminta saksofon. Lucu, sekaligus mengajarkan sesuatu. Konsistensi lintas-modalitas adalah masalah object permanence yang sama dengan topi berbeda: kepala audio punya gagasan laten sendiri tentang scene, dan 'alat musik tiup logam single-reed' cukup dekat di ruang embedding sehingga kesalahan ini lolos. Bersiaplah untuk ekor panjang kasus semacam ini, seperti langkah kaki di salju yang terdengar seperti kerikil, atau dialog yang menjawab pertanyaan yang sudah tidak relevan dengan scene.

Secara strategis, audio jauh lebih penting daripada yang diisyaratkan oleh kesalahan saksofon itu. Dunia yang senyap adalah demo; dunia yang berbunyi adalah produk. Kemudi lewat bahasa alami, seperti ubah cuaca atau tambahkan orang di tengah aliran, adalah separuh lainnya. Bersama-sama, keduanya mengubah world model dari artefak riset menjadi medium interaktif, dan jelas di situlah Google ingin membawanya: Project Genie, langganan AI Ultra, mitra API. Prediksi 'film berubah menjadi video game' adalah akhir komersial yang sudah jelas, dan untuk sekali ini, rima hype-nya memang pas.

Untuk praktisi, pelajarannya adalah memisahkan dua jalur ini di kepala kamu. Jalur produk (real-time, bisa dikendalikan, audiovisual, bisa dimonetisasi) bergerak cepat dan akan menghasilkan alat yang benar-benar berguna untuk prototyping, previsualisasi, dan storytelling interaktif dalam satu atau dua tahun. Jalur sains (state persisten, fisika kausal, konsistensi jangka panjang yang andal) bergerak dengan kecepatan riset dan tidak boleh dianggap sudah terpecahkan hanya karena demonya indah. Saya pernah salah membaca pencapaian produk sebagai pencapaian sains; hasilnya kamu merancang sistem di atas kemampuan yang belum ada.

Apa yang Sebenarnya Akan Saya Lakukan dengan Ini Hari Ini

Kalau kamu membangun agen, strategi pragmatisnya belum berubah: tetap jalankan stack kontrol di atas fisika sungguhan, tetapi mulai bereksperimen dengan simulator yang dipelajari untuk lapisan di atasnya, yaitu pembuatan skenario, smoke-testing kebijakan, dan data persepsi sintetis. Kurva biayanya turun dengan cara yang sama seperti inferensi LLM, dan seperti yang saya tulis di mengapa benchmark AI meleset dari pekerjaan nyata, tim yang menang adalah yang mengevaluasi pada distribusi tugas mereka sendiri, bukan demo publik. Bangun harness yang menjalankan world model untuk ribuan langkah interaktif dan mengukur kegagalan konsistensi: kemunculan kembali objek, drift geometri, pelanggaran kausal. Harness itu akan memberitahumu lebih banyak daripada video peluncuran mana pun.

Juga perhatikan sisi open-weights. HY-World 2.0 dari Tencent mendapat perhatian yang jauh lebih kecil dibanding Genie 4, padahal kalau sejarah LLM dan model gambar jadi patokan, ekosistem terbuka adalah tempat praktisi benar-benar belajar bagaimana sistem ini bekerja. Kamu tidak bisa menginspeksi research preview yang ada di balik daftar tunggu. Kamu bisa melakukan fine-tune, probe, dan memecahkan sesuatu yang bisa kamu unduh, dan probing itu penting: seperti dalam kerja interpretabilitas mekanistik, temuan yang menarik datang dari mengutak-atik jaringan, bukan hanya mengagumi hasilnya.

Ringkasannya dengan jujur: Genie 4 adalah langkah nyata di sumbu yang sulit, yaitu interaktivitas, bukan sekadar sumbu mudah berupa piksel yang lebih cantik. Tetapi jarak antara 'menjaga scene selama kamu melihatnya' dan 'mensimulasikan dunia' masih lebar, dan justru di situlah jarak yang penting untuk pelatihan agen. Silakan sebut ini world model kalau mau. Hanya ingat bahwa dunia, tidak seperti video, tetap ada saat kamu berbalik. Yang ini, sebagian besar, belum. Belum.