월드 모델 vs 비디오 예측: 제가 틀렸던 것들

Genie 4 데모가 공개됐을 때 제 첫 반응은 Sora 때와 똑같았습니다. 정말 훌륭한 비디오 생성기인데, 왜 이걸 월드 모델이라고 부르는 거지? 클립을 하루 종일 뜯어보고 나보다 똑똑한 사람들의 반응을 읽고 나서 이 표현에 대한 생각이 바뀌었습니다. 동시에 시뮬레이션 작업에서 월드 모델을 만들고 평가하면서 저질렀던 실수 세 가지도 떠올랐습니다. 이 글은 DeepMind 발표에 대한 리뷰가 아닙니다. 데모 때문에 쉽게 뒤섞이기 쉬운, 비디오 예측과 환경 시뮬레이션의 차이에 대해 값비싸게 배운 교훈을 정리한 것입니다.

교훈 1: 월드 모델은 영화가 아니라 전이 함수다

오랫동안 저지른 실수이자, Genie 4 관련 성급한 평가에서 가장 많이 보이는 실수는 상호작용 시뮬레이션을 비디오 생성용 평가 기준으로 재는 것입니다. 프롬프트를 넣으면 클립이 나오고, 화질, 움직임의 부드러움, 프롬프트 충실도를 따집니다. 끝. 하지만 그 기준으로는 만들려는 것의 핵심을 놓칩니다.

비디오 생성기는 p(frames | prompt)를 학습합니다. 월드 모델은 그보다는 p(next_state | current_state, action)에 가까운 것을 학습합니다. 이 차이는 얼핏 학술적으로 들리지만 실제로 압박을 주면 바로 드러납니다. 비디오 예측에서는 재생 중에 무엇을 하든 아무것도 바뀌지 않습니다. '나'라는 존재가 없으니까요. 월드 모델에서는 에이전트(또는 키보드를 누르는 사용자)가 매 스텝마다 행동을 주입하고, 모델은 그 행동을 조건으로 삼아야 합니다. 상호작용을 허용하는 순간, 생성형 아트 문제에서 제어 이론에 가까운 문제로 넘어갑니다. 시스템은 한 번도 본 적 없는 입력에, 스스로 빠져든 상태에서, 무한정 반응해야 합니다.

그래서 Genie 4의 키보드 내비게이션과 장면 중간의 텍스트 조종이 사실적인 화질보다 더 중요합니다. 이 세대 모델에서 사실적인 화질은 기본 조건입니다. Sora 2와 Veo 3가 이미 그 기준을 넘었죠. 실시간 행동 조건화, 즉 키를 누르면 세계가 인과적으로 반응하고 그 반응이 계속 일관되게 이어지는 것이 진짜 연구 기여입니다. 사람들이 데모를 화질만으로 채점하는 걸 보면, 비행 시뮬레이터를 창문이 얼마나 예쁜지로 평가하는 것과 같다는 생각이 듭니다.

혼란을 줄이는 실용적인 방법은 이렇습니다. 어떤 월드 모델이라고 주장하는 것을 평가할 때는 픽셀 하나를 보기 전에 세 가지 질문을 던지세요. 추론 시점에 행동을 받는가, 아니면 프롬프트만 받는가? 같은 상태에서 같은 행동을 하면 같은 결과가 나오는가? 그리고 만 스텝 연속으로 찔러보면 무슨 일이 일어나는가? 이 세 질문으로 환경 시뮬레이터와 아주 인상적인 텔레비전을 구분할 수 있습니다.

교훈 2: 화면 밖의 일관성에 거짓말이 숨어 있다

공개 반응에서 가장 날카로운 관찰은 화질에 관한 것이 아니었습니다. 드래곤 레이싱 데모에서 카메라가 성으로 다시 돌아갈 때, 투석기를 포함한 오른쪽 일부가 사라지고 두 번째 성이 나타난 것처럼 보인다는 지적이 있었습니다. 기차역 플랫폼에서 카메라에서 멀어지던 보행자는 카메라가 돌아오면 정체가 바뀌어 있습니다. 오토바이 운전자는 주목하는 컷 사이에 헬멧을 얻습니다. 모델은 화면에 머무르는 것에 대해서는 놀랍도록 일관성을 유지하지만, 화면 밖에 있는 것은 조용히 즉흥적으로 만들어냅니다.

저도 정확히 이 실패 모드를 가진 시스템을 만들어 봤기 때문에 바로 알아봤습니다. 이것은 모델의 상태가 사실상 최근 잠재 프레임의 슬라이딩 윈도우와 어텐션이 운반할 수 있는 것에 불과할 때 나오는 결과입니다. 명시적인 지도도, 객체 영속성 저장소도, 씬 그래프도 없습니다. 모델은 성이 있다는 것을 알지 못합니다. 최근 수천 개 토큰이 성 같아 보였다는 것만 알고 있을 뿐이고, 그 토큰들이 컨텍스트 밖으로 밀려나면 성의 존재 여부는 사전 확률에 따라 던진 동전이 됩니다. 드래곤 장면에는 성이 흔하니, 새 성이 뚝 생겨나는 겁니다.

화면 밖으로 나간 것을 잊는 모델은 세계를 학습한 게 아닙니다. 아주 확신에 찬, 아주 그럴듯한 현재를 학습한 것입니다.

여기서 불편한 부분이 있습니다. 엔터테인먼트에는 이것으로 충분할 수 있지만, 에이전트 학습에는 치명적일 수 있습니다. 시뮬레이터 안에서 로봇 정책을 학습시킨다면, 정책은 시뮬레이터가 보상하는 것을 그대로 배웁니다. 객체 영속성이 없는 시뮬레이터에서는 에이전트가 세계가 주사위를 다시 굴리기를 기다리는 방식으로 과제를 '해결'할 수 있습니다. 장애물에서 멀어지면 고개를 돌렸을 때 그 장애물이 사라져 있을 수도 있는 거죠. 그렇게 나온 정책은 충돌 감지가 깨진 비디오 게임에서 학습한 정책이 현실로 옮겨지는 정도로만 전이됩니다. 이런 종류의 불일치 때문에 시뮬레이션과 현실의 차이를 메우느라 몇 달을 날리는 팀을 실제로 본 적이 있습니다.

개념적인 해결책은 메모리를 컨텍스트 길이의 부산물이 아니라 1급 아키텍처 구성요소로 다루는 것입니다. 명시적인 공간 표현(NeRF 방식의 씬 상태, 복셀 맵, 객체 슬롯)이든, 훨씬 길고 똑똑한 잠재 메모리든, 모델은 지금 내 뒤에는 무엇이 있는가?라는 질문에 다시 꿈꾸지 않고 답할 수 있어야 합니다. DeepMind가 씬의 일관성을 '조종하고 감시하는' 데 Gemini 추론 모델에 기댄 것은, 제게는 이 문제를 인정한 것으로 읽힙니다. 생성 코어가 일관성을 기본으로 갖고 있지 않아서, 지금은 다른 모델이 일관성을 감시해 줘야 하는 것이죠. 이것은 실용적인 땜질이지 해결책이 아닙니다. 다만 비난이 아니라 설명으로 하는 말입니다. 실용적인 땜질이 바로 실제 시스템이 출시되는 방식이니까요.

교훈 3: 잠재 공간의 물리는 솔버가 아니라 사전 확률이다

발표 자료는 공기역학, 충돌, 자연스러운 인간 움직임을 강조하고, 수박을 부수는 데모와 떨어지는 씨앗 데모는 실제로 물리적으로 유창해 보입니다. 제 역사적인 두 번째 큰 실수는, 생성 모델에서 물리가 유창해 보인다는 것을 모델이 물리를 신뢰할 수 있는 방식으로 내재화했다는 뜻으로 받아들인 것이었습니다. 그렇지 않습니다. 모델은 방대한 양의 영상에서 물리의 시각적 통계를 학습했을 뿐입니다. 이것은 제약 조건 시스템과는 매우 다른 것입니다.

단서는 분포 이동에 있습니다. 잠재 물리 모델은 백분위 기준으로 가장 흔한 경우, 즉 공이 튀고, 물결이 일고, 바람에 천이 펄럭이는 장면은 완벽하게 처리합니다. 학습 데이터에 그런 장면이 수백만 개 있기 때문입니다. 하지만 꼬리 쪽으로 밀어붙이면 사전 확률이 갈라집니다. 한 데모 프롬프트에서는 사진 같은 질감을 요구했는데도 '비디오 게임 느낌'을 피하려고 모델이 애를 먹었습니다. 공작이 마법 지팡이로 고양이로 변하는 장면은 분포에서 너무 멀어서, 모델이 사전 확률에서 가장 가까운 그럴듯한 장르로 미끄러졌고, 그건 양식화된 3D 애니메이션이었습니다. 질감처럼 학습한 물리는, 촬영할 수 없는 새로운 상황, 즉 시뮬레이터가 가장 필요한 순간에 정확히 실패합니다.

스케이트보더 테스트, 즉 실제 스케이터를 속일 수 있는 장면을 만들어 보라는 방식도 같은 이유로 옳은 직감입니다. 스케이터는 수천 번의 낙법으로 조율된 체화된 물리 엔진을 가지고 있습니다. 체중 이동, 팝 타이밍, 콘크리트 위에서 운동량이 마찰과 맞바꿔지는 방식까지, 어느 하나라도 미묘하게 틀리면 다른 사람에게는 멀쩡해 보여도 전문가에게는 틀려 보입니다. 현재의 잠재 월드 모델은 역학에 대한 도메인 전문가의 검증을 통과하지 못합니다. 순수 비디오로 학습한 모델이 곧 그 검증을 통과할 거라는 데는 돈을 걸지 않겠습니다. 물리는 가중치 속 강제 가능한 법칙이 아니라 데이터의 그림자 속에 있습니다.

지금 제 경험칙은 이렇습니다. 잠재 월드 모델의 물리는 엔지니어가 아니라 재능 있는 스토리보드 작가처럼 다루라는 것입니다. 설득력 있는 폭발은 그려 줄 겁니다. 파편이 운동량을 보존한다는 것은 보장하지 않습니다. 접촉이 많은 로봇 조작, 유체-구조 상호작용, 안전 검증처럼 보장이 필요한 용도라면 여전히 실제 물리 엔진이 필요하고, 흥미로운 작업은 하이브리드 시스템에 있습니다. 이건 제가 하이브리드 추론 에이전트에 대해 주장했던 것과 같은 패턴입니다. 학습된 모델이 고차원의 흐릿한 부분을 맡고, 검증 가능한 컴포넌트가 불변량을 맡게 하는 것입니다.

교훈 4: 정답이 분위기인 곳에서는 에이전트를 훈련시키지 마라

모든 월드 모델 발표에는 로보틱스 홍보가 들어가고, Genie 4도 예외가 아닙니다. 로봇과 에이전트를 위한 무한히 다양한 학습 환경이라는 것이죠. 그때마다 많은 실무자가 정당한 회의론으로 반응합니다. 꿈속에서 로봇을 훈련시킬 수는 없다는 겁니다. 양쪽 다 절반은 맞고, 해법은 어떤 에이전트와 어떤 기술인지 구체적으로 따지는 데 있습니다.

저수준 모터 제어에서는 잠재 시뮬레이터가 지금은 함정입니다. 조작 정책에는 힘 피드백, 접촉 역학, 반복 가능한 물리가 필요합니다. 화면 밖 기하를 다시 굴리고 비디오 통계로 충돌을 근사하는 모델은 깨지기 쉽고 허점을 파고드는 정책을 가르칩니다. 그립을 위한 시뮬레이션에서 현실로의 전이를 다루는 사람이라면 MuJoCo, Isaac, Bullet 계열 시뮬레이터를 계속 쓰고, 월드 모델 데모는 지켜볼 연구 방향으로만 취급하는 것이 좋습니다.

하지만 고수준 의사결정에서는 계산이 뒤집힙니다. 내비게이션 정책, 주행 시나리오 테스트, 웹과 UI 에이전트, 게임 플레이 에이전트, 다단계 플래너 같은 것들은 대부분 뉴턴 수준으로 정확한 역학이 아니라 행동의 그럴듯한 결과가 필요합니다. 이 패턴은 이미 효과를 보았습니다. Dreamer 같은 모델 기반 강화학습 시스템은 학습된 잠재 동역학 모델 안에서 훈련하고, 실제 Atari와 제어 과제로 전이됩니다. Waymo 등 여러 회사도 오래전부터 시뮬레이션 안에서 다른 도로 사용자의 학습된 행동 모델을 써 왔습니다. 생성형 월드 모델은 이 아이디어를 열린 시각 환경으로 확장한 것입니다. 실수는 하나의 모델이 플래너와 서보 루프를 모두 맡기를 요구하는 데 있습니다.

• 잠재 월드 모델을 쓸 곳: 시나리오 다양성, 희귀 사건 생성, 상위 정책 평가, 사람이 개입하는 테스트, 인지용 합성 데이터.
• 물리 엔진을 쓸 곳: 접촉이 많은 조작, 역학에 민감한 제어, 만 스텝 중 한 번의 불일치한 충돌이 보상 신호를 망치는 모든 것.
• 어느 쪽도 맹신하지 말 것: 정책을 현실에 일찍, 자주 검증하세요. 학습형이든 직접 만든 것이든 모든 시뮬레이터에는 간극이 있고, 그것을 9개월 차가 아니라 2주 차에 찾고 싶을 테니까요.

교훈 5: 실시간 오디오와 대화는 과학을 바꾸지 않고 제품을 바꾼다

Genie 4는 주변 오디오와 상호작용 대화를 기본으로 생성하는 첫 모델이고, 사람들은 색소폰을 요청했을 때 클라리넷을 연주하는 모습을 바로 포착했습니다. 웃기지만 교훈적이기도 합니다. 교차 모달 일관성은 다른 모자를 쓴 같은 객체 영속성 문제입니다. 오디오 헤드는 장면에 대한 자체 잠재 개념을 가지고 있고, '금관 단일 리드 악기'는 임베딩 공간에서 충분히 가까워서 혼동이 빠져나갑니다. 이런 사례가 긴 꼬리로 많이 나올 것입니다. 눈 위의 발소리가 자갈처럼 들리거나, 장면이 이미 지나간 질문에 대답하는 대화 같은 것들이요.

하지만 전략적으로 오디오는 색소폰 실수가 암시하는 것보다 훨씬 큰 일입니다. 소리 없는 세계는 데모이고, 소리가 나는 세계는 제품입니다. 날씨를 바꾸고, 사람을 추가하는 자연어 조종이 스트림 도중에 이뤄지는 것이 나머지 절반입니다. 둘이 합쳐지면 월드 모델은 연구 산출물에서 상호작용 매체로 바뀝니다. 구글이 지향하는 방향이 바로 이것입니다. Project Genie, AI Ultra 구독, API 파트너들이 그렇죠. '영화가 비디오 게임이 된다'는 예측은 명백한 상업적 종착점이고, 이번만큼은 과장된 말의 운율이 맞아떨어집니다.

실무자라면 머릿속에서 두 흐름을 분리해서 생각해야 합니다. 제품 흐름(실시간, 조종 가능, 시청각, 수익화 가능)은 빠르게 움직이고 있으며, 1~2년 안에 프로토타이핑, 사전 시각화, 인터랙티브 스토리텔링에 실제로 유용한 도구를 만들어 낼 겁니다. 과학 흐름(지속 상태, 인과적 물리, 장기 지평 일관성의 신뢰성)은 연구 속도로 움직이고 있으며, 데모가 아름답다고 해서 해결된 것으로 가정하면 안 됩니다. 저도 예전에 제품 이정표를 과학 이정표로 잘못 읽은 적이 있습니다. 그러면 아직 존재하지 않는 능력을 중심으로 시스템을 설계하게 됩니다.

오늘 제가 실제로 할 일

에이전트를 만들고 있다면 실용적인 전략은 바뀌지 않았습니다. 제어 스택은 실제 물리 위에 두고, 그 위 계층에 대해서는 학습형 시뮬레이터 실험을 시작하세요. 시나리오 생성, 정책 스모크 테스트, 합성 인지 데이터 같은 것들입니다. 여기서 비용 곡선은 LLM 추론에서 그랬던 것과 같은 방향으로 떨어지고 있습니다. 그리고 AI 벤치마크가 실제 업무를 놓치는 이유에서 썼듯이, 이기는 팀은 공개 데모가 아니라 자기 실제 과제 분포에서 평가하는 팀입니다. 월드 모델을 수천 번의 상호작용 스텝으로 굴리고 일관성 실패(객체 재등장, 기하 드리프트, 인과 위반)를 측정하는 하네스를 만드세요. 그 하네스는 어떤 출시 영상보다 더 많은 것을 알려줄 겁니다.

오픈 웨이트 쪽도 계속 지켜보세요. Tencent의 HY-World 2.0은 Genie 4가 받은 관심의 일부만 받았지만, LLM과 이미지 모델의 역사를 보면 실무자들이 이 시스템이 어떻게 돌아가는지 실제로 배우는 곳은 오픈 생태계일 가능성이 큽니다. 대기 명단 뒤에 있는 연구 프리뷰는 들여다볼 수 없습니다. 다운로드할 수 있는 것은 미세조정하고, 탐침하고, 깨뜨려 볼 수 있으며, 탐침이 중요합니다. 기계적 해석 가능성 연구와 마찬가지로, 흥미로운 발견은 네트워크를 감탄하며 바라보는 데서가 아니라 찔러 보는 데서 나옵니다.

솔직한 요약입니다. Genie 4는 쉬운 축인 더 예쁜 픽셀이 아니라 어려운 축, 즉 상호작용성에서 실제로 한 걸음 나아간 것입니다. 하지만 '내가 보는 동안 장면을 유지한다'와 '세계를 시뮬레이션한다' 사이의 간극은 여전히 넓고, 에이전트 학습에서 중요한 바로 그 간극입니다. 원하면 월드 모델이라고 불러도 좋습니다. 다만 비디오와 달리 세계는 고개를 돌려도 그 자리에 있어야 한다는 것을 기억하세요. 지금의 것들은 대부분 아직 그렇지 않습니다.