Full-Duplex Speech Models: 5 Mitos Voice AI, Kami Uji

Saya menghabiskan dua tahun membangun voice assistant dengan stack klasik: speech-to-text di awal, language model di tengah, text-to-speech di akhir. Setiap optimasi latensi yang kami rilis membuatnya lebih cepat, tapi entah kenapa malah makin buruk. Gelombang terbaru full-duplex speech models — sistem seperti Dessa, pratinjau riset dari lab kecil di Block yang dilatih dari nol hanya dengan percakapan manusia mentah — akhirnya menjelaskan alasannya. Masalahnya bukan kecepatan. Masalahnya arsitektur. Dan banyaknya mitos tentang bagaimana voice AI “seharusnya” bekerja itu luar biasa. Jadi mari kita lakukan seperti yang kami lakukan pada mitos mesin inferensi DeepSeek: ambil keyakinan umum tentang voice AI percakapan dan uji langsung dengan apa yang ditunjukkan model-model baru ini.

Mitos 1: Pipeline bertahap cukup dengan latensi yang lebih rendah

Ini keyakinan yang paling lama saya pegang, dan ini yang paling keliru. Arsitektur standar — automatic speech recognition (ASR) lalu large language model (LLM) lalu text-to-speech (TTS) — punya satu cacat fatal yang tidak bisa diperbaiki seberapa pun rekayasanya: tahap pertama menghapus sinyal tempat percakapan berjalan.

Saat kamu mentranskripsi ucapan, kamu menyimpan kata-katanya dan membuang sisanya. Keraguan. Sarkasme. Helaan napas sebelum “oke”. Retakan di suara yang menandakan seseorang hampir menangis. Tahap ASR mengubah semua itu menjadi string seperti “saya baik-baik saja”, dan LLM di hilir sama sekali tidak tahu pengguna sedang kesal. Kamu bisa menambahkan classifier emosi terpisah, ya — sekarang kamu punya model keempat, tambahan latensi 100ms, dan label seperti sadness: 0.73 yang tetap diperlakukan LLM sebagai token, bukan perasaan. Ini kompresi lossy yang diterapkan pada bagian kanal yang paling banyak membawa makna.

Ada masalah kedua yang lebih halus: latensi di pipeline itu aditif dan berurutan. ASR tidak bisa selesai sebelum kamu berhenti bicara (atau menebak titik akhir), LLM tidak bisa mulai sebelum ASR selesai, dan TTS tidak bisa mulai sebelum LLM mengeluarkan token. Manusia tidak bekerja seperti ini. Kita mulai menyusun jawaban saat lawan bicara masih di tengah kalimat, makanya jeda rata-rata antar giliran dalam percakapan alami sekitar 200 milidetik — lebih cepat dari yang bisa diselesaikan kebanyakan sistem bertahap di tahap ASR-nya saja. Model full-duplex yang memproses audio masuk dan keluar secara kontinu, dalam satu jaringan, melewati seluruh antrean itu. Bedanya seperti lomba estafet dengan dua orang yang sekadar mengobrol.

Vonis: terbantahkan. Menyetel latensi pada pipeline bertahap berarti mengoptimalkan variabel yang salah. Arsitekturnya sendiri adalah hambatannya.

Mitos 2: Teks menangkap semua yang penting dalam percakapan

Coba eksperimen ini, yang saya comot dari tulisan tim Dessa karena ini ilustrasi paling bersih yang pernah saya lihat. Ucapkan kalimat ini keras-keras tujuh kali, dengan menekan kata yang berbeda setiap kali: “I didn't say she stole my CUDA code.” Tujuh string teks yang sama persis. Tujuh makna yang sama sekali berbeda — penyangkalan atas tuduhan, implikasi bahwa orang lain yang melakukannya, perdebatan soal kata kerjanya. Sistem berbasis teks hanya melihat satu input. Model yang native untuk ucapan melihat tujuh.

Prosodi — tekanan, nada, ritme, tempo — bukan hiasan di atas bahasa. Dalam percakapan lisan, prosodi adalah bagian besar dari bahasa itu sendiri. Tawa di tengah kalimat memberi sinyal yang berbeda dibanding tawa setelah kalimat. Backchannel (“iya”, “hm”, “oke”) sama sekali tidak membawa isi leksikal, namun percakapan yang kehilangan semua itu terasa seperti bicara dengan tembok. Jika representasi internal sistemmu berupa teks, kamu sudah kalah. Informasinya tidak pernah masuk ke model, jadi seberapa pun kecerdasan di hilir tidak bisa memulihkannya. Ini teorema Nyquist yang diterapkan pada UX: jika sampling di bawah bandwidth sinyal, aliasing bersifat permanen.

Ini juga punya dimensi keselamatan yang nyata, dan ini argumen yang paling meyakinkan menurut saya. Voice assistant yang mendengar “saya sedang kesakitan sekali” dengan afek datar itu buta terhadap urgensi di modalitas tempat urgensi itu berada. Tim Dessa membahasnya secara eksplisit: seiring sistem AI makin otonom, buta terhadap konten emosional ucapan manusia bukan sekadar celah UX, tapi bahaya. Apakah kamu percaya model mereka adalah solusinya atau tidak, diagnosisnya tepat.

Vonis: terbantahkan, dan memang tidak pernah dekat. Teks adalah proyeksi dari ucapan, dan seperti semua proyeksi, ia kehilangan satu dimensi.

Mitos 3: Pergantian giliran hanya soal voice-activity-detection

Tanyakan ke kebanyakan engineer bagaimana voice assistant tahu kapan harus bicara, dan mereka akan menjawab “endpointing” — modul VAD menunggu N milidetik keheningan, lalu menyerahkan giliran. Inilah sebabnya setiap voice assistant yang pernah kamu pakai entah memotong pikiranmu di tengah atau diam menyiksa setelah kamu selesai bicara. Keheningan adalah proksi yang buruk untuk “giliranmu”. Manusia berhenti sejenak di tengah kalimat untuk berpikir, menggantung kalimat untuk mengundang lawan bicara, mempercepat ketika ingin mempertahankan giliran, dan memperlambat ketika menyerahkannya. Pergantian giliran dinegosiasikan terus-menerus lewat prosodi, tata bahasa, dan konteks — ia diprediksi, bukan dideteksi.

Model full-duplex memperlakukan ini sebagai masalah pemodelan kelas satu. Karena mereka mendengarkan dan berbicara secara bersamaan, mereka bisa mempelajari distribusi nyata dari waktu percakapan manusia: kapan memberi backchannel, kapan menyela untuk melengkapi kalimat seseorang yang tersendat (salah satu demo Dessa memberikan judul film yang sedang tidak bisa diingat manusia), dan kapan diam. Interupsi bukan kondisi error yang harus ditekan; ia adalah sinyal yang harus dimodelkan. Pembingkaian ulang inilah kontribusi sebenarnya di sini, lebih dari demo mana pun.

Tapi di sini saya akan membantah hype-nya, karena komentator Hacker News punya poin yang sah: beberapa demo terasa terlalu bersemangat. Ketika model tertawa sebelum manusia selesai bicara, atau langsung menyerobot menjadi monolog, itu terasa seperti model yang terlalu baik mempelajari bahwa “menyela = natural”. Pergantian giliran prediktif yang dikerjakan sempurna itu tidak terasa. Jika baru 80% benar, ia lebih mengganggu daripada jeda setengah detik yang sopan, karena interupsi yang meleset terasa kasar dengan cara yang tidak dirasakan respons yang lambat. Lembah uncanny untuk waktu percakapan itu nyata, dan belum ada yang benar-benar melewatinya.

Vonis: setengah terbantahkan. Pergantian giliran memang masalah pembelajaran, bukan masalah ambang batas — tapi model saat ini lebih membuktikan bahwa pendekatannya benar daripada membuktikan bahwa masalahnya sudah tuntas.

Mitos 4: Untuk belajar bahasa, kamu butuh data teks skala internet

Ini kedengarannya jelas — LLM mengonsumsi triliunan token, jadi bahasa butuh triliunan token — sampai kamu ingat bahwa setiap manusia yang pernah hidup belajar berbicara dari beberapa tahun paparan audio tanpa teks sama sekali. Bayi adalah bukti bahwa kebutuhan datanya jauh lebih kecil dari yang diasumsikan playbook LLM. Dessa adalah versi mesin dari eksperimen itu: dilatih dari nol, tanpa bobot pralatih, tanpa teks sama sekali, murni dari percakapan manusia yang direkam. Dan menurut klaim tim, ia belajar bahasa dari ratusan kali lebih sedikit kata dibanding korpus LLM tipikal.

Sebelum kita menobatkan audio sebagai sinyal latih yang lebih unggul, beberapa catatan jujur. Pertama, satu kata yang diucapkan memakan ribuan kali lebih banyak byte daripada bentuk tertulisnya, dan ucapan tidak pernah berulang — kalimat yang sama yang diucapkan dua kali adalah data yang berbeda. Jadi “kata yang lebih sedikit” tidak berarti “byte yang lebih sedikit”; itu berarti kata yang lebih sedikit, yang merupakan klaim tentang berapa banyak informasi yang dibawa ucapan per unit leksikal, bukan efisiensi data dalam arti penyimpanan. Kedua, korpus LLM bukan hanya bahasa — ada kode, matematika, LaTeX, seluruh catatan tertulis pengetahuan manusia. Model yang hanya ucapan tahu banyak hal mengejutkan untuk diet latihannya, tapi tidak ada yang akan memintanya mereview pull request kamu. Ini terkait pola yang lebih luas yang pernah kami bahas: benchmark dan demo hanya menangkap irisan tipis dari yang dibutuhkan pekerjaan nyata, dan pesona percakapan adalah sumbu kemampuan yang berbeda dari kedalaman penalaran.

Yang benar-benar dibuktikan hasil ini adalah sesuatu yang menarik untuk riset: struktur bahasa bisa dipelajari dari akustik saja, yang memberi tahu kita sesuatu yang nyata tentang seberapa banyak “bahasa” berada dalam konvensi teks versus dalam ucapan itu sendiri. Ini juga membuka pertanyaan praktis — bisakah model native ucapan mempelajari bahasa sumber daya rendah di mana audio ada tapi teks transkripsinya tidak? Itu benang yang layak ditarik, apalagi mengingat betapa pekerjaan bahasa sumber daya rendah sering tersendat karena korpus teks yang hilang.

Vonis: sebagian besar terbantahkan untuk bahasa lisan, dengan catatan kaki sebesar pusat data. Pembelajaran dari ucapan saja memang berhasil; hanya saja ia mengoptimalkan hal yang berbeda dari pembelajaran dari teks saja.

Mitos 5: Suara yang realistis berarti sistem yang cerdas — atau aman

Ini mitos yang seharusnya membuat kamu khawatir, dan bagian komentar langsung melihatnya: “impersonasi — untuk itulah ini dibuat.” Kasar, tapi arahnya benar. Kefasihan dan kecerdasan itu ortogonal, dan kefasihan bicara adalah yang lebih persuasif dari keduanya. Model yang terengah-engah “ya ampun” saat mendengar cerita ulang tahun pernikahanmu dengan timing mata berkaca-kaca yang sempurna memang melakukan sesuatu yang luar biasa secara teknis, tapi tidak ada yang menyiratkan bahwa ia bernalar dengan baik, mengetahui fakta dengan andal, atau tidak akan mengarang dengan penuh percaya diri menggunakan suara hangat dan empatik. Malah, penyampaian ekspresif menutupi penalaran yang dangkal — kita terbiasa mempercayai pembicara yang yakin dan peka secara emosional. Itulah dasar dari seni menipu.

Model ancamannya sudah jelas. Voice cloning ditambah kemampuan percakapan full-duplex ditambah caller ID palsu adalah paket penipuan yang mengalahkan insting yang paling diandalkan orang — “aku pasti tahu kalau itu bukan dia”. Salah satu komentator punya mitigasi yang layak diadopsi: pertanyaan tantangan tentang memori bersama untuk setiap panggilan mencurigakan dari orang yang kamu kenal. Kedengarannya paranoid. Tapi ini akan jadi praktik standar. Patut diakui, tim ini secara eksplisit mengundang peneliti keamanan untuk menguji model sebelum rilis yang lebih luas, dan itu lebih dari yang dilakukan kebanyakan lab. Tapi teknologinya sendiri bersifat dual-use dalam arti yang paling harfiah, dan tidak ada pembingkaian yang bisa mengubah itu.

Ada juga cerita biaya yang tersembunyi di sini, dan ini mengarah ke arah sebaliknya, dengan cara yang baik. Klaimnya adalah inferensi berjalan lebih cepat dari real time di MacBook Pro dengan M4 Max, dan pelatihan muat di satu sistem NVIDIA GB200 NVL72. Jika angka-angka itu benar, ini luar biasa: AI percakapan yang terasa seperti frontier tapi tidak terkunci di balik klaster hyperscale. Inferensi lokal penting untuk privasi (suaramu tidak pernah meninggalkan perangkat), untuk latensi (tidak ada hop jaringan di tengah stream duplex), dan untuk siapa yang bisa membangun di atas teknologi ini. Tren efisiensi pada model kecil yang mumpuni juga pernah kami soroti lewat LLM kelas flash — aksi menarik dalam inferensi makin bergeser ke ujung “berjalan di perangkat yang kamu miliki”.

Vonis: terbantahkan, dan ini mitos paling berbahaya dalam daftar. Perlakukan realisme vokal sebagai properti UI, bukan sinyal kemampuan atau kepercayaan — dan sesuaikan kebiasaan keamanan pribadimu.

Apa yang sebenarnya berubah

Lepaskan dulu marketing “paling autentik yang pernah dibuat” (judulnya sampai dimoderasi di Hacker News, dan ada alasannya), dan yang tersisa tetap signifikan: model ucapan end-to-end adalah sesuatu yang secara kategori berbeda dari pipeline, dan perbedaannya saling menumpuk. Emosi tetap ada di dalam loop. Timing menjadi perilaku yang dipelajari, bukan ambang batas yang disetel manual. Interupsi menjadi data. Tidak ada yang bisa dicapai hanya dengan membuat ASR 50ms lebih cepat.

Pandangan pragmatis saya, sebagai orang yang pernah merilis arsitektur lama: pipeline bertahap belum mati. Untuk antarmuka suara transaksional — cek saldo, pesan janji, kontrol perangkat — pipeline itu oke, bisa di-debug, dan setiap tahap bisa diganti secara independen. Perantara teks memberimu logging, redaksi, dan penegakan kebijakan secara gratis, yang sangat penting di produksi. Tapi untuk apa pun di mana percakapan adalah produknya — tutoring, pendampingan, alat aksesibilitas, latihan negosiasi — pipeline adalah jalan buntu, dan audio end-to-end adalah satu-satunya arsitektur yang bisa terasa natural. Pilih berdasarkan apakah penggunamu sedang berbicara kepada mesin atau melalui mesin.

Pertanyaan terbukanya adalah yang paling seru. Seberapa baik in-context learning bekerja ketika konteksnya berupa audio? Bisakah model ini menjaga state percakapan panjang tanpa tongkat penopang berupa transkrip teks? Apakah kefasihan emosional membuat kegagalan lebih berbahaya karena pengguna mempercayai penyampaiannya? Dan yang paling tidak nyaman: begitu kualitas impersonasi seperti ini bisa berjalan secara lokal di laptop, seperti apa sebenarnya verifikasi identitas manusia? Lab yang menjawab pertanyaan-pertanyaan itu dengan jujur akan lebih berarti daripada yang punya demo paling mengilap.

Suara adalah antarmuka tertua yang dimiliki manusia. Kita menghabiskan empat puluh tahun memaksanya lewat lubang berbentuk teks dan heran kenapa rasanya salah. Ternyata lubang itulah masalahnya.