무음 음성 인터페이스: RF가 전극을 이긴 이유

도서관에 앉아 받아쓰기 앱을 켜 놓고, 같은 이메일을 노트북에 입 모양으로 네 번이나 되뇌고 있습니다. 소리 내어 말하면 층 전체의 시선을 받을 테니까요. 무음 음성 인터페이스는 바로 이런 순간을 위해 존재합니다. 소리를 전혀 내지 않고 입으로 만든 단어, 혹은 입 모양을 만들려는 의도만으로 말을 해석하는 시스템입니다. 새로 등장한 스타트업들은 AI 시대에 필요한 입력 장치가 더 좋은 마이크가 아니라 아예 마이크가 필요 없는 장치라고 보고 베팅하고 있습니다.

이 아이디어는 요즘 데모들이 보여주는 것보다 훨씬 오래됐습니다. NASA 연구진은 2000년대 중반에 성대 없이 말을 인식하는 서브보컬 인식을 실험했는데, 원래는 시끄럽거나 압력복을 입고 일하는 우주비행사와 비행 승무원을 위한 것이었습니다. MIT 미디어랩은 2018년 턱과 얼굴의 신경근육 신호를 포착하는 웨어러블 헤드셋 AlterEgo로 이 개념을 널리 알렸습니다. 최근 달라진 건 개념이 아니라 저렴해진 무선 하드웨어, 더 나은 머신러닝, 음성 AI의 대중화가 한꺼번에 맞물렸다는 점입니다. 덕분에 공학적으로 거의 실현 가능해졌습니다. 거의요. 여기서 신호 대 잡음비 문제는 정말 가혹하고, 팀이 이를 어떻게 푸느냐에 따라 최종 제품의 모든 것이 결정됩니다.

소리 없이 말하기: 서브보컬라이제이션이란 무엇인가

짚고 넘어갈 용어가 하나 있는데, 이 분야에서는 서로 다른 세 가지가 자주 뒤섞입니다. 첫째는 마우싱(mouthing)으로, 입술, 혀, 턱을 모두 써서 발음하되 목소리만 내지 않는 것입니다. 둘째는 내부 발화(internal speech)로, 입술은 다문 채 혀와 연구개만 의도적으로 움직여 단어를 만드는 것입니다. 셋째는 진짜 서브보컬라이제이션(subvocalization)으로, 글을 읽거나 생각할 때 일어나는 미세하고 무의식적인 근육 활성화입니다. 이건 SF에 가까워서 실험실 밖에서는 거의 감지되지 않습니다. 지금 실제로 동작하는 제품은 앞의 두 범주에 있습니다. 입술을 다문 채 「입 모양으로 말하기」를 목표로 삼는 RF 센싱 안경 팀도 있는데, 사용자들이 몇 번 써 보면 금방 익숙해진다고 합니다. 기묘한 혼합형이지만요.

언어 덕후로서 여기 담긴 언어학이 참 재미있습니다. 조음은 성대가 울리든 말든 뇌가 항상 돌리는 운동 프로그램입니다. 유성음화는 발화 과정의 한 단계일 뿐이고, 후두가 음향 에너지를 더하는 부분이죠. 그걸 걷어내도 그 앞의 복잡한 동작은 그대로 남습니다. 모음을 위한 혀 위치, 입술 모양, 비음을 위한 연구개 조절 같은 것들이요. 무음 음성 인터페이스는 결국 그 동작의 잔상으로부터 음소 순서를 복원하려는 시도입니다. 소리 없는 피아노 위 피아니스트의 손가락만 보고 멜로디를 짐작하는 것과 비슷하죠. 말하자면 안쪽에서 바라보는 독순술입니다.

이 관점이 중요한 이유는 센서가 무엇을 측정해야 하는지 알려주기 때문입니다. 아무도 당신의 마음을 읽고 있지 않습니다. 성공한 시스템은 모두 조음의 어떤 물리적 상관물, 즉 전기 신호, 조직의 움직임, 혹은 반사된 에너지에 기대고 있습니다. 그리고 그중 무엇을 쫓을지 고르는 것이 이 분야의 핵심 공학적 결정입니다.

EMG: 너를 배신하는 가장 뻔한 센서

거의 모든 사람이 근전도(EMG)에서 출발합니다. 논리가 너무 매력적이거든요. 근육은 운동 뉴런이 막을 가로질러 전기 전위를 내보내며 수축하니, 해당 근육 위 피부에 전극을 붙이면 그 과정을 그대로 볼 수 있습니다. 표면 EMG는 이미 성숙한 기술이라서, 의수는 수십 년 전부터 잔존 근육 신호로 조종되어 왔습니다. 주말 해커톤이라면 얼굴에 전극을 테이프로 붙이고 증폭기에 연결해서, 입 모양으로 만든 글자와 대략 맞물리며 깜빡이는 결과를 얻을 수 있습니다. 실제로 여러 무음 음성 프로토타입이 이 방식으로 만들어졌습니다. 유명한 MIT AlterEgo도 포함되고, 지금 RF 안경을 내놓은 팀도 처음에는 조잡하게 이 방식을 시도했다고 알려져 있습니다.

그다음 현실이 끼어듭니다. 지루할 만큼 예측 가능한 실패 목록입니다.

• 땀. 땀이 나면 피부 전도도가 바뀌어서, 같은 입 모양이라도 오전 9시와 점심 뒤의 신호가 다르게 보입니다. 캘리브레이션이 사용자 몰래 계속 낡아가는 셈입니다.
• 전기적 간섭. 얼굴 EMG 신호는 마이크로볼트 단위입니다. 근처 전선, 노트북의 스위칭 전원, 심지어 눈 깜빡임조차 신호를 덮어버릴 수 있습니다.
• 부착 위치의 변동. 전극 위치가 2mm만 어긋나도 어떤 근육 섬유가 신호를 지배하는지가 달라집니다. 기기를 벗었다 다시 끼우면 어제의 모델은 조금 다른 사람을 재고 있는 셈입니다.
• 외관상의 치명타. 공공장소에서 얼굴에 젤 전극을 붙이고 다니려는 사람은 없습니다. 사소해 보이지만 이것만으로도 이 접근법은 끝장났습니다.

마지막 지적은 존중할 만합니다. 소비자 하드웨어는 물리 법칙보다 사용 편의성 때문에 실패하는 경우가 훨씬 많습니다. 웨어러블의 역사는 실험실에서는 잘 작동했지만 사용자에게 한 단계를 더 요구했던 기기들의 무덤입니다. 골전도 헤드셋, 가슴 밴드형 심박 측정기, EEG 헤드밴드 모두 기술적으로는 탄탄했지만 전부 틈새에 머물렀습니다. 센서를 쓰려면 매일 피부 준비를 해야 한다면, 그건 입력 주변기기가 아니라 의료기기를 만든 것입니다.

RF 센싱: 안쪽에서 입 모양 읽기

요즘 힘을 얻고 있는 접근법은 전극을 전파로 바꿉니다. 아이디어는 이렇습니다. 안경테에 심은 안테나가 블루투스와 가까운 주파수의 저출력 전파를 쏘고, 그 전파가 얼굴을 통과합니다. 전파가 혀, 입술, 연구개처럼 움직이는 조직을 지나면서 아주 작고 구조적인 방식으로 변조됩니다. 수신 안테나가 흐트러진 신호를 잡아내면 신경망이 그 변화를 다시 텍스트로 매핑하도록 학습합니다. 원리는 Wi-Fi 기반 제스처 센싱이나 구글이 Pixel 4에 넣어 손동작을 인식했던 레이더와 같은 물리 계열입니다. 다만 겨냥하는 대상이 훨씬 미묘할 뿐입니다.

RF의 매력은 카메라나 피부 전극이 볼 수 없는 것을 본다는 점입니다. 입술을 다물면 혀는 바깥에서 보이지 않지만, 물을 많이 머금은 큰 근육이라 전파와 강하게 상호작용합니다. 회의실에서 사람들이 실제로 원하는 조용한 모드인 입술을 다문 내부 발화는, 이런 조직 투과형 방식으로만 접근할 수 있습니다. 이것이 제품 논리를 한 문장으로 요약한 것입니다. EMG와 카메라는 조음의 바깥을 포착하고, RF는 안쪽을 포착합니다.

그곳에 도달하는 공학은 만만치 않습니다. 찾으려는 신호는 반송파 위에 실린 희미한 변조이므로, RF 프런트엔드 전체가 매우 낮은 잡음을 유지해야 합니다. 안테나 배치는 아주 까다로운 최적화 문제입니다. 전자기장이 조음 기관과 최대한 겹쳐야 하므로, 안테나 위치가 몇 밀리미터만 달라져도 시스템이 들을 수 있는 것이 바뀝니다. 현재 안경 프로토타입을 만드는 팀은 안경에 통합한 첫 시도가 완전히 실패했다고 인정합니다. 그래서 얼굴에 안테나를 테이프로 붙이는 방식으로 돌아갔다가, 기하 구조를 고정하려고 단단한 머리 리그를 썼고, 그 뒤에야 시뮬레이션으로 프레임을 제대로 잡았습니다. 테이프, 리그, 제품으로 이어지는 이 과정이 실제로 출하되는 하드웨어의 정직한 발자취입니다.

카메라와 초음파: 조연이지만 분명한 틈새가 있는 기술

카메라 방식, 즉 시각적 독순술은 연구 역사가 가장 깊습니다. LipNet은 몇 년 전 영상만으로 문장 단위의 독순을 종단간으로 보여주었고, 오픈소스 프로젝트들도 웹캠과 얼굴 추적기로 같은 기법을 계속 재현하고 있습니다. 상상할 수 있는 가장 저렴한 센서입니다. 이미 카메라 세 대쯤은 가지고 있을 테니까요. 하지만 얼굴의 바깥만 볼 수 있다는 가혹한 한계를 물려받습니다. 입을 다문 내부 발화는 정의상 보이지 않고, 조명과 고개 각도가 입력을 끊임없이 망가뜨리며, 하루 종일 자기 얼굴을 카메라로 겨누는 데 따르는 프라이버시와 배터리 비용은 사라지지 않습니다. 독순술은 음성 인식의 보조 수단으로는 여전히 훌륭합니다. 오디오와 영상을 함께 쓰는 모델은 소음 속에서 오디오 단독 모델보다 실제로 더 잘 작동합니다. 그러나 단독 무음 인터페이스로서는 눈에 보이게 입을 움직이는 쪽 끝에 머무를 수밖에 없습니다.

초음파는 더 낯선 중간 지대에 있습니다. 학계에서는 턱에 초음파 트랜스듀서를 겨누고 반향으로부터 혀의 움직임을 재구성하는 시스템을 만들어 왔습니다. 혀 초음파 영상은 음성학 연구에서 실제로 표준 도구이고, 수십 년 동안 모음이 만들어지는 과정을 들여다보는 데 쓰여 왔습니다. 센싱 성능은 좋습니다. 문제는 폼팩터입니다. 턱에 붙이는 초음파 프로브를 스탠드업 회의에 차고 갈 수 있는 물건으로 포장하는 방법은 아직 아무도 찾지 못했고, 공기를 통한 음향 결합은 손실이 크고 각도에 민감합니다. 제 판단으로는 초음파는 임상 언어 치료와 음성학 실험실에는 맞는 답이지만, 소비자 입력 장치에는 틀린 답입니다.

점수표를 만들어 보면 트레이드오프는 대략 이렇게 보입니다.

• EMG: 근육 신호를 직접 잡고 대역폭도 좋습니다. 하지만 땀, 드리프트, 부착 위치, 얼굴에 전극을 붙여야 한다는 점 때문에 망가집니다.
• 카메라 독순술: 하드웨어 비용이 없고 모델도 성숙했습니다. 하지만 입을 다문 말은 보지 못하고, 조명에 취약하며, 프라이버시 측면에서 거부감이 큽니다.
• 초음파: 혀를 직접 촬영합니다. 하지만 결합 방식과 폼팩터 때문에 실험실 장비에 머무릅니다.
• RF 얼굴 투과 센싱: 피부를 통과해 내부 조음 기관을 보고, 안경에 넣을 수 있습니다. 대신 특수한 저잡음 RF 스택과 막대한 학습 데이터가 필요합니다.

신호 대 잡음비 문제는 받아쓰기 문제가 아니다

이런 기기 얘기를 처음 들으면 대부분 이렇게 착각합니다. 공기만 뺀 음성 인식이겠지 하고요. 그렇지 않습니다. 오디오 받아쓰기는 자연이 소통을 위해 설계한 신호 위에서 돌아갑니다. 방 안을 가로지르며 음소를 실어 나르도록 진화한, 수십 데시벨짜리 깨끗한 압력파입니다. ASR의 어려운 부분은 억양, 어휘, 소음 제거입니다. 신호 자체는 넉넉합니다.

무음 음성 센싱은 정반대의 성격을 가집니다. 마이크로볼트 단위의 EMG든 희미한 RF 변조든, 그 반송파는 애초에 언어를 담으라고 만들어진 것이 아닙니다. 음소 정보는 센서 채널 전체에 번져 있고 깔끔하게 대응되지도 않으며, 교란 요인은 음향이 아니라 생리적인 것입니다. 침 삼키기, 턱 꽉 물기, 고개 돌리기, 얼굴 만지기 같은 동작이 각각 조음 신호를 압도할 만한 과도 신호를 만듭니다. ASR이 시끄러운 방과 싸운다면, 무음 음성 시스템은 당신의 몸과 싸웁니다. 당신이 바로 노이즈 플로어입니다.

그래서 두 가지 결과가 따릅니다. 첫째, 이런 시스템은 받아쓰기보다 언어 모델링에 훨씬 크게 의존합니다. 음소에 대한 센서 근거가 모호하면 디코더는 당신이 아마 말하려 했을 내용에 대한 사전 확률로 빈틈을 메웁니다. 흐릿한 모델 출력을 신뢰할 수 있는 결정으로 바꾸는 데 제약 디코딩이 그토록 효과적인 것과 같은 원리입니다. 그래서 무음 음성 시스템은 예측 가능한 텍스트(명령어, 나만의 말투로 쓴 이메일)에서는 놀라울 만큼 잘 작동하고, 희귀어, 이름, 코드 식별자처럼 사전 확률이 약한 신호를 구해주지 못하는 곳에서는 눈에 띄게 떨어질 것입니다. 둘째, 캘리브레이션은 부수적인 문제가 아니라 구조적인 문제입니다. 오디오 ASR은 수십 년 전에 이미 화자 간 일반화를 이뤘습니다. 파형은 파형이니까요. 하지만 얼굴의 RF 신호 지문은 그렇지 않습니다. 이제 이 분야에서 가장 어려운 문제를 얘기해 볼 차례입니다.

얼굴마다 다른 안테나 문제

사용자 간 일반화는 무음 음성 프로토타입이 죽어 나가는 곳입니다. 턱 길이, 혀 크기, 조직 밀도, 피부 두께 같은 얼굴 해부학적 특성은 사람마다 엄청나게 다르고, 그 변수 하나하나가 신호 모양을 바꿉니다. 제 얼굴로 학습한 모델이 당신 얼굴에서는 거의 쓸모없을 수 있습니다. 초기 EMG 문헌에는 「사용자별, 캘리브레이션 후」라는 단서와 함께 훌륭한 정확도를 보고한 시스템이 넘쳐납니다. 그 단서가 조용히 제품을 묻어버리죠. 작동하기 전에 사용자마다 한 시간씩 학습이 필요한 기기는 연구 데모이지, 주변기기가 아닙니다.

현재 RF 프로젝트에서 제가 흥미롭게 보는 부분은, 이들이 영리한 길부터 시도했다는 점입니다. 알고리즘적 도메인 적응, 신호 정규화 같은 기법을 써 봤지만 결국 효과가 있는 유일한 지렛대는 무식할 만큼 큰 사전 학습 규모라는 결론에 이르렀다고 합니다. 그래서 사무실에 녹음 부스를 만들고, 사람들에게 돈을 주고 안경을 쓴 채 프롬프트를 읽게 했으며, 데이터셋이 커질수록 오류율이 깔끔한 스케일링 곡선을 따라 떨어지는 것을 지켜봤습니다. 보고된 결과는 새 사용자가 대략 캘리브레이션 문장 20개만 읽으면 시스템이 잘 작동한다는 것입니다. 이 숫자는 어떤 정확도 수치보다 중요합니다. 문장 20개는 견딜 만한 온보딩 과정이지만, 한 시간짜리 측정은 반품 요청입니다.

이는 머신러닝 전반이 계속 다시 가르쳐 주는 교훈입니다. 모델이 일반화에 실패할 때 답은 대개 더 영리한 아키텍처가 아니라 더 다양한 데이터입니다. 이 현상은 음성 인식에서도, 저자원 언어의 기계 번역에서도, 입력 분포가 사용자마다 달라지는 모든 영역에서 반복되어 왔습니다. 무음 음성은 특히 악랄한 사용자별 분포 변화를 겪습니다. 「마이크」의 일부가 바로 사용자 자신으로 이루어져 있기 때문입니다.

무음 음성이 실제로 이기는 곳

신기함을 걷어내면 활용 사례는 뚜렷한 위계로 정리됩니다. 맨 위는 접근성입니다. 반복 긴장성 손상을 입고 양쪽 손목터널 증후군 수술을 앞둔 개발자나, 받아쓰기가 사회적으로 불가능한 오픈 오피스에 복귀하는 사람들에게 이것은 가젯이 아니라 일을 하느냐 못 하느냐의 차이입니다. 후두를 절제한 환자나 ALS 계열로 말하기 능력을 잃은 사람들은 같은 이야기의 더 깊고 더 중요한 버전입니다. 이 기술을 정직하게 평가하려면 이 점에 무겁게 가중치를 둬야 합니다.

둘째는 시끄러운 환경입니다. 직관과는 반대지만 중요한 부분입니다. 음향을 완전히 무시하는 센싱 방식은 잔디깎이 소리, 서버실, 공장 바닥에 신경 쓰지 않습니다. 음성은 바로 RF 센싱이 무관심한 지점에서 실패합니다. 셋째는 은밀함입니다. 도서관, 오픈 오피스, 기차 안에서 받아쓰기를 하는 것이죠. 이것이 주류 소비자 소구점이고 실제로 의미도 있지만, 셋 중 가장 약하다고 봅니다. 기능의 잠금을 푸는 게 아니라 사회적 편안함을 주는 기능이니까요.

트레이드오프에 대한 제 입장은 이렇습니다. 이 기술은 추론이 온디바이스이거나 최소한 오프라인으로 가능할 때만 그 폼팩터를 정당화할 수 있습니다. 닫힌 입 안에서 혀의 움직임을 지켜보며 원시 데이터를 클라우드 API로 흘려보내는 센서는 누구도 받아들이면 안 되는 프라이버시 구조입니다. 비자발적 신호 유출을 걱정하는 사람들의 우려는 정당하며, 일부 과장된 공포는 그렇지 않더라도 말입니다. 다행히 디코딩 모델은 로컬에서 돌릴 만큼 작습니다. 업계는 오프라인 우선 설계를 프리미엄 옵션이 아니라 기본 요건으로 다뤄야 합니다. 웨이크워드에 해당하는 장치도 중요합니다. 안경이 듣기 전에 제스처나 턱 꽉 물기 패턴 같은 명확한 물리적 의도 신호가 필요합니다. 그렇지 않으면 당신이 무의식적으로 움직이는 모든 입 근육을 받아 적는 웨어러블이 되어버립니다.

여기서 옛 메아리 하나가 떠오르는 걸 참을 수 없네요. 1870년대 전신 기사들은 릴레이가 딸깍거리는 소리로 메시지를 읽는 법을 익혔습니다. 누구도 설계하지 않은 입력 채널이었죠. 인터페이스의 역사는 누군가 디코더를 만들고 나면 이런 부차적 채널이 일급 채널이 되는 사례로 가득합니다. 서브보컬 근육의 잡음은 우리가 속으로 생각하고 읽을 때마다 새어 나가 온 부차적 채널입니다. 이를 입력 장치로 바꾸는 일은 발명이라기보다 승격에 가깝습니다. 스케일링 곡선이 계속 유지된다면, 도서관에서 가장 조용한 사람이 가장 많은 타이핑을 해내는 사람이 될지도 모릅니다.