풀듀플렉스 음성 모델: 음성 AI 통념 5가지를 검증하다

저는 2년 동안 고전적인 스택으로 음성 어시스턴트를 만들었습니다. 음성-텍스트 변환을 입력으로 받고, 가운데에 언어 모델을 두고, 마지막에 텍스트-음성 변환으로 내보내는 구조였죠. 우리가 출시한 지연 시간 최적화는 매번 속도를 빠르게 만들었지만, 어쩐지 결과는 더 나빠졌습니다. 최근 등장한 풀듀플렉스 음성 모델들, 그러니까 Block의 소규모 연구소가 원시 인간 대화만으로 처음부터 학습시킨 리서치 프리뷰 Dessa 같은 시스템들이 마침내 그 이유를 설명해 줍니다. 문제는 속도가 아니라 아키텍처였습니다. 그리고 음성 AI가 “원래 이래야 한다”는 식으로 떠도는 통념의 양은 어마어마합니다. 그러니 DeepSeek 추론 엔진 통념에 했던 것처럼, 대화형 음성 AI에 대한 흔한 믿음들을 골라 이 새로운 모델들이 보여주는 결과와 실제로 대조해 보겠습니다.

통념 1: 캐스케이드 파이프라인은 지연 시간만 줄이면 된다

제가 가장 오래 믿었고, 가장 크게 틀렸던 생각입니다. 표준 구조인 자동 음성 인식(ASR), LLM, 텍스트-음성 변환(TTS)으로 이어지는 파이프라인에는 아무리 엔지니어링을 해도 고칠 수 없는 치명적인 결함이 하나 있습니다. 첫 단계가 대화가 의존하는 신호 자체를 지워버린다는 것입니다.

음성을 전사하면 단어는 남지만 나머지는 모두 버려집니다. 망설임, 비꼼, “알았어”라고 말하기 전의 한숨, 누군가 울기 직전에 갈라지는 목소리. ASR 단계는 이 모든 것을 “I'm fine” 같은 문자열로 바꿔버리고, 하류의 LLM은 사용자가 화가 났다는 것을 알 방법이 전혀 없습니다. 별도의 감정 분류기를 붙일 수도 있죠. 그러면 모델이 하나 더 늘고, 100ms가 더 걸리며, sadness: 0.73 같은 라벨이 나오지만 LLM은 이것을 여전히 ‘감정’이 아닌 ‘토큰’으로 취급합니다. 채널에서 가장 많은 의미를 담은 부분에 손실 압축을 적용하는 셈입니다.

두 번째, 더 미묘한 문제가 있습니다. 파이프라인의 지연은 누적되고 순차적입니다. ASR은 말이 끝나야(또는 끝점을 추측해야) 완료되고, LLM은 ASR이 끝나야 시작할 수 있으며, TTS는 LLM이 토큰을 내보내야 시작할 수 있습니다. 사람은 이렇게 대화하지 않습니다. 상대가 말하는 도중에도 응답을 구성하기 시작하죠. 그래서 자연스러운 대화에서 발화 간 평균 간격이 약 200밀리초인 겁니다. 대부분의 캐스케이드 시스템은 ASR 단계를 끝내는 데도 그보다 오래 걸립니다. 오디오 입력과 출력을 단일 네트워크에서 지속적으로 처리하는 풀듀플렉스 모델은 이 전체 대기열을 건너뜁니다. 릴레이 경주와 두 사람이 그냥 대화하는 것의 차이입니다.

판정: 틀렸음. 캐스케이드 파이프라인의 지연 튜닝은 잘못된 변수를 최적화하는 것입니다. 병목은 아키텍처 자체입니다.

통념 2: 대화에서 중요한 모든 것은 텍스트에 담긴다

Dessa 팀의 글에서 가져온 실험인데, 제가 본 것 중 가장 깔끔한 예시라 그대로 소개합니다. 다음 문장을 소리 내어 일곱 번 말해 보세요. 매번 다른 단어에 강세를 두면서. “I didn't say she stole my CUDA code.” 텍스트는 일곱 개가 모두 같지만 의미는 완전히 다릅니다. 비난 부인, 다른 사람에 대한 암시, 동사 따지기. 텍스트 기반 시스템은 입력을 하나만 보지만, 음성 네이티브 모델은 일곱 개를 봅니다.

운율(강세, 음높이, 리듬, 말의 속도)은 언어 위에 얹힌 장식이 아닙니다. 대화에서 운율은 언어의 상당 부분입니다. 문장 중간의 웃음은 문장 끝의 웃음과 다른 것을 뜻합니다. 맞장구(“응”, “음-흠”, “알겠어”)는 어휘적 내용이 전혀 없지만, 이것을 빼면 대화는 벽에 대고 말하는 것 같습니다. 시스템의 내부 표현이 텍스트라면 이미 진 것입니다. 정보가 모델에 들어오지 않았으니 하류에서 아무리 영리하게 처리해도 복구할 수 없습니다. UX에 적용한 나이퀴스트 정리와 같습니다. 신호 대역폭보다 낮게 샘플링하면 앨리어싱은 영구적입니다.

이것에는 실질적인 안전 측면도 있는데, 제가 가장 설득력 있다고 느끼는 논점입니다. 평평한 감정으로 “나 너무 아파”라고 말하는 소리를 듣는 음성 어시스턴트는, 긴급함이 살아 있는 바로 그 양식에서 귀가 먹은 것입니다. Dessa 팀은 이를 명시적으로 짚습니다. AI 시스템이 더 자율적이 될수록, 인간 음성의 감정적 내용에 눈이 먼다는 것은 단순한 UX 공백이 아니라 위험이라는 것입니다. 그들의 모델이 해법인지와 상관없이, 진단은 옳습니다.

판정: 틀렸음, 그리고 애초에 근접하지도 않았습니다. 텍스트는 음성의 투영이고, 모든 투영이 그렇듯 한 차원을 잃습니다.

통념 3: 턴 테이킹은 그저 음성 활동 감지 문제다

대부분의 엔지니어에게 음성 어시스턴트가 언제 말할지 어떻게 아는지 물으면 “엔드포인팅”이라고 답할 겁니다. VAD 모듈이 N밀리초 동안 침묵을 기다렸다가 넘기는 방식이죠. 그래서 여러분이 써 본 모든 음성 어시스턴트는 생각 중간에 끼어들거나, 말을 다 한 뒤에도 답답한 침묵 속에 머뭅니다. 침묵은 ‘내 차례’를 나타내는 형편없는 대리 지표입니다. 사람은 생각하느라 문장 중간에 멈추고, 말을 이어가고 싶으면 살짝 흐리고, 발언권을 넘길 때는 말을 늦춥니다. 턴 테이킹은 운율, 문법, 맥락을 통해 끊임없이 협상됩니다. 감지되는 것이 아니라 예측되는 것이죠.

풀듀플렉스 모델은 이것을 일급 모델링 문제로 다룹니다. 동시에 듣고 말하기 때문에, 실제 인간 대화의 타이밍 분포를 학습할 수 있습니다. 언제 맞장구를 칠지, 누군가 막힌 문장을 언제 끼어들어 완성해 줄지(한 Dessa 데모에서는 사람이 기억하지 못하는 영화 제목을 알려줍니다), 그리고 언제 입을 다물지. 끼어들기는 억제해야 할 오류가 아니라 모델링해야 할 신호입니다. 이 재정의가 어떤 단일 데모보다도 진짜 기여라고 생각합니다.

하지만 과장된 기대에는 반론을 제기하겠습니다. Hacker News 댓글러들이 타당한 지적을 했거든요. 여러 데모가 지나치게 적극적으로 보입니다. 모델이 사람이 문장을 끝내기 전에 웃거나 독백으로 밀고 들어오면, ‘끼어들기 = 자연스러움’을 너무 열심히 배운 모델처럼 보입니다. 예측 턴 테이킹이 완벽하면 눈에 띄지 않습니다. 80% 수준이면 정중한 0.5초 지연보다 더 짜증납니다. 잘못된 끼어들기는 느린 응답과는 다른 방식으로 무례하게 느껴지기 때문입니다. 대화 타이밍의 불쾌한 골짜기는 실제로 존재하며, 아무도 완전히 넘지 못했습니다.

판정: 절반만 틀림. 턴 테이킹은 분명 임계값의 문제가 아니라 학습의 문제입니다. 다만 현재 모델들은 이 접근이 옳다는 것을 증명하는 데 그쳤지, 문제가 해결되었음을 증명하지는 못했습니다.

통념 4: 언어를 배우려면 인터넷 규모의 텍스트 데이터가 필요하다

언뜻 당연해 보입니다. LLM은 수조 개의 토큰을 소비하니, 언어에도 수조 개의 토큰이 필요하다는 거죠. 하지만 지금까지 살았던 모든 사람이 텍스트 없이 몇 년간의 오디오 노출만으로 말하는 법을 배웠다는 걸 떠올려 보세요. 아기들은 데이터 요구량이 LLM 교본이 가정하는 것보다 훨씬 적다는 존재 증명입니다. Dessa는 그 실험의 기계판입니다. 사전 학습된 가중치 없이, 텍스트는 전혀 없이, 오직 녹음된 인간 대화만으로 처음부터 학습되었습니다. 팀의 주장에 따르면 일반적인 LLM 코퍼스보다 수백 배 적은 단어로 언어를 익혔다고 합니다.

오디오가 더 우수한 학습 신호라고 왕관을 씌우기 전에, 솔직한 단서가 몇 가지 있습니다. 첫째, 말한 단어 하나는 텍스트 형태보다 수천 배 많은 바이트를 차지하고, 음성은 반복되지 않습니다. 같은 문장을 두 번 말하면 다른 데이터입니다. 따라서 ‘단어가 적다’는 ‘바이트가 적다’는 뜻이 아니며, 단어 단위당 음성이 담는 정보량에 관한 주장이지 저장 관점의 데이터 효율에 관한 주장이 아닙니다. 둘째, LLM 코퍼스는 언어만이 아닙니다. 코드, 수학, LaTeX, 인류 지식의 전체 기록입니다. 음성 전용 모델은 학습 식단에 비해 놀랄 만큼 많이 알지만, 여러분의 풀 리퀘스트를 리뷰해 달라고 할 사람은 없습니다. 이것은 우리가 이전에 다룬 더 넓은 패턴과 연결됩니다. 벤치마크와 데모는 실제 업무가 요구하는 것의 얇은 단면만 포착합니다. 대화의 매력은 추론 깊이와는 다른 역량 축입니다.

이 결과가 실제로 확립하는 것은 연구 관점에서 꽤 흥미롭습니다. 언어 구조는 음향만으로도 학습할 수 있다는 것이죠. 이는 ‘언어’가 텍스트 관례에 얼마나 많이 있고 음성 자체에 얼마나 많이 있는지에 대해 실질적인 것을 알려줍니다. 실용적인 질문도 열립니다. 음성은 존재하지만 전사된 텍스트는 없는 저자원 언어를 음성 네이티브 모델이 익힐 수 있을까요? 저자원 언어 연구가 텍스트 코퍼스 부족으로 고전하는 상황을 생각하면 파볼 가치가 있는 실마리입니다.

판정: 음성 언어에 대해서는 대부분 틀렸지만, 데이터센터만큼 큰 단서가 붙습니다. 음성만으로의 학습은 작동합니다. 다만 텍스트만으로 학습할 때와는 다른 것을 최적화할 뿐입니다.

통념 5: 현실적인 목소리는 똑똑하거나 안전한 시스템을 뜻한다

여러분을 걱정시켜야 할 통념이고, 댓글창은 이를 바로 알아봤습니다. “사칭, 이걸 위해 만든 거잖아.” 가혹하지만 방향은 맞습니다. 유창함과 지능은 서로 독립적이며, 음성 유창성이 둘 중 더 설득력이 강합니다. 여러분의 기념일 이야기에 완벽한 눈물 연기 타이밍으로 “세상에”라고 감탄하는 모델은 기술적으로는 놀랍지만, 그것이 추론을 잘한다거나, 사실을 안정적으로 안다거나, 따뜻하고 공감하는 목소리로 그럴듯하게 지어내지 않는다는 뜻은 아닙니다. 오히려 표현력 있는 전달은 얕은 추론을 가립니다. 우리는 자신감 있고 감정적으로 잘 맞춰진 화자를 신뢰하도록 설계되어 있습니다. 그것이 바로 사기꾼 수법의 기반입니다.

위협 모델은 저절로 써집니다. 음성 복제, 풀듀플렉스 대화 능력, 위조된 발신자 번호가 합쳐지면, 대부분의 사람이 의존하는 본능, 즉 “그 사람이 아니면 알았을 텐데”를 무력화하는 사기 도구 세트가 됩니다. 한 댓글러의 대응책은 채택할 만합니다. 아는 사람에게서 온 의심스러운 전화에는 공유된 기억에 관한 확인 질문을 던지는 것입니다. 편집증처럼 들리지만 곧 표준 관행이 될 겁니다. 팀의 공로로 인정하자면, 더 넓게 출시하기 전에 안전 연구자들에게 모델을 찔러 보라고 명시적으로 요청하고 있습니다. 이는 대부분의 연구소가 하지 않는 일입니다. 하지만 이 기술 자체는 가장 문자 그대로의 의미에서 이중 용도이며, 어떤 프레이밍으로도 그 사실은 바뀌지 않습니다.

여기에는 반대 방향으로, 좋은 의미에서 작용하는 비용 이야기도 숨어 있습니다. 추론이 M4 Max 탑재 MacBook Pro에서 실시간보다 빠르게 돌아가고, 학습은 단일 NVIDIA GB200 NVL72 시스템에 맞았다는 주장입니다. 이 숫자가 사실이라면 놀랍습니다. 하이퍼스케일 클러스터 뒤에 갇혀 있지 않은, 최전선급 느낌의 대화형 AI이기 때문입니다. 로컬 추론은 프라이버시(음성이 기기를 떠나지 않음), 지연 시간(듀플렉스 스트림 중간에 네트워크 홉이 없음), 그리고 누가 이 기술 위에서 무언가를 만들 수 있는지에 중요합니다. 작은 고성능 모델의 효율성 추세는 플래시급 LLM에서 이미 짚었던 흐름이며, 추론에서 흥미로운 움직임은 점점 ‘내가 소유한 하드웨어에서 돌아가는’ 쪽에서 일어나고 있습니다.

판정: 틀렸음, 그리고 목록에서 가장 위험한 통념입니다. 목소리의 사실성을 능력이나 신뢰의 신호가 아니라 UI 속성으로 취급하세요. 그리고 개인 보안 습관도 그에 맞게 바꾸세요.

이것이 실제로 바꾸는 것

“역대 가장 진짜 같은” 마케팅을 걷어내도(이 제목이 Hacker News에서 검열된 데에는 이유가 있습니다), 남는 것은 여전히 중요합니다. 엔드투엔드 음성 모델은 파이프라인과 범주적으로 다른 것이며, 그 차이는 누적됩니다. 감정이 루프 안에 남습니다. 타이밍은 손으로 조정한 임계값이 아니라 학습된 행동이 됩니다. 끼어들기는 데이터가 됩니다. 이 중 어느 것도 ASR을 50ms 빠르게 만드는 것으로는 달성할 수 없습니다.

이전 아키텍처를 직접 출시해 본 사람으로서 제 실용적인 입장은 이렇습니다. 캐스케이드 파이프라인은 죽지 않았습니다. 잔액 조회, 예약, 기기 제어 같은 거래형 음성 인터페이스라면 여전히 괜찮고, 디버깅이 쉬우며, 각 단계를 독립적으로 교체할 수 있습니다. 텍스트 중간 표현은 로깅, 개인정보 마스킹, 정책 집행을 공짜로 제공하는데, 이는 운영 환경에서 매우 중요합니다. 하지만 대화 자체가 제품인 영역, 예를 들어 튜터링, 동반자, 접근성 도구, 협상 연습이라면 파이프라인은 막다른 길이고, 엔드투엔드 오디오만이 자연스럽게 느껴질 수 있는 유일한 아키텍처입니다. 사용자가 기계에게 말하는지 기계를 통해 말하는지를 기준으로 선택하세요.

미해결 질문들이 흥미롭습니다. 컨텍스트가 오디오일 때 인컨텍스트 학습은 얼마나 잘 작동할까요? 이 모델들은 텍스트 전사라는 목발 없이 긴 대화 상태를 유지할 수 있을까요? 감정적 유창함은 사용자가 전달 방식을 신뢰하기 때문에 실패를 더 해롭게 만들까요? 그리고 불편한 질문도 있습니다. 이 수준의 사칭이 노트북에서 로컬로 돌아가게 되면, 인간 신원의 검증은 도대체 어떤 모습이 될까요? 이 질문들에 정직하게 답하는 연구소가, 가장 멋진 데모 릴을 가진 곳보다 더 중요해질 겁니다.

음성은 인간이 가진 가장 오래된 인터페이스입니다. 우리는 40년 동안 음성을 텍스트 모양의 구멍에 억지로 밀어 넣으면서, 왜 어색하게 느껴지는지 궁금해해 왔습니다. 알고 보니 문제는 그 구멍이었습니다.