Modelos de Voz Full-Duplex: 5 Mitos Testados

Passei dois anos construindo assistentes de voz na stack clássica: fala para texto na entrada, um modelo de linguagem no meio, texto para fala na saída. Cada otimização de latência que lançamos deixou tudo mais rápido e, de alguma forma, pior. A onda recente de modelos de fala full-duplex — sistemas como o Dessa, uma prévia de pesquisa de um pequeno laboratório da Block treinado do zero apenas com conversas humanas brutas — finalmente explica por quê. O problema nunca foi velocidade. Foi arquitetura. E a quantidade de folclore circulando sobre como a IA de voz "deveria" funcionar é impressionante. Então vamos fazer o que fizemos com os mitos do motor de inferência do DeepSeek: pegar as crenças comuns sobre IA de fala conversacional e testá-las contra o que esses novos modelos demonstram.

Mito 1: Pipelines em cascata só precisam de menos latência

Essa é a crença que mantive por mais tempo, e é a mais equivocada. A arquitetura padrão — reconhecimento automático de fala (ASR) alimentando um LLM, que alimenta a conversão de texto em fala (TTS) — tem uma falha fatal que nenhuma quantidade de engenharia resolve: o primeiro estágio apaga o sinal sobre o qual a conversa acontece.

Quando você transcreve a fala, mantém as palavras e descarta todo o resto. A hesitação. O sarcasmo. O suspiro antes de um "tá bom". A rachadura na voz que indica que alguém está prestes a chorar. Seu estágio de ASR converte tudo isso em uma string como "tô bem", e o LLM a jusante simplesmente não tem como saber que o usuário está chateado. Você pode acoplar um classificador de emoção separado, claro — agora você tem um quarto modelo, mais 100 ms de latência e um rótulo como sadness: 0.73 que o LLM ainda trata como um token, não como um sentimento. É compressão com perda aplicada justamente à parte do canal que carrega mais significado.

Há um segundo problema, mais sutil: em um pipeline, a latência é aditiva e sequencial. O ASR não termina até você parar de falar (ou até ele chutar um ponto final), o LLM não começa até o ASR terminar, e o TTS não começa até o LLM emitir tokens. Humanos não funcionam assim. Começamos a formular a resposta enquanto o outro ainda está no meio da frase, e é por isso que a pausa média entre turnos em uma conversa natural fica em torno de 200 milissegundos — mais rápido do que a maioria dos sistemas em cascata consegue terminar só o estágio de ASR. Um modelo full-duplex, que processa áudio de entrada e de saída continuamente, em uma única rede, contorna toda essa fila. É a diferença entre uma corrida de revezamento e duas pessoas simplesmente conversando.

Veredito: mito derrubado. Ajustar a latência de um pipeline em cascata é otimizar a variável errada. A própria arquitetura é o gargalo.

Mito 2: O texto captura tudo o que importa numa conversa

Experimente isto, que roubei do texto de apresentação da equipe do Dessa porque é a ilustração mais limpa que já vi. Diga em voz alta esta frase sete vezes, enfatizando uma palavra diferente a cada vez: “Eu não disse que ela roubou meu código CUDA.” Sete strings de texto idênticas. Sete significados completamente diferentes — negação de uma acusação, insinuação de que foi outra pessoa, discussão sobre o verbo. Qualquer sistema baseado em texto vê uma entrada. Um modelo nativo de fala vê sete.

Prosódia — ênfase, altura, ritmo, cadência — não é um enfeite sobre a linguagem. Em uma conversa falada, ela é uma grande parte da linguagem. Uma risada no meio da frase sinaliza algo diferente de uma risada depois dela. Os backchannels ("aham", "hum-hum", "entendi") não carregam conteúdo lexical algum, e ainda assim uma conversa sem eles parece falar com uma parede. Se a representação interna do seu sistema é texto, você já perdeu. A informação nunca entra no modelo, então nenhuma esperteza a jusante a recupera. É o teorema de Nyquist aplicado à UX: amostre abaixo da largura de banda do sinal e o aliasing é permanente.

Isso também tem uma dimensão de segurança, e é o argumento que considero mais convincente. Um assistente de voz que ouve "estou com muita dor" com tom neutro é surdo à urgência justamente na modalidade onde a urgência vive. A equipe do Dessa enquadra isso explicitamente: à medida que sistemas de IA ficam mais autônomos, ser cego ao conteúdo emocional da fala humana não é apenas uma lacuna de UX, é um risco. Você concorde ou não que o modelo deles seja a solução, o diagnóstico está certo.

Veredito: mito derrubado, e nunca esteve perto de se sustentar. Texto é uma projeção da fala e, como toda projeção, perde uma dimensão.

Mito 3: Alternância de turnos é só um problema de detecção de atividade de voz

Pergunte à maioria dos engenheiros como um assistente de voz sabe quando falar e eles dirão "endpointing" — um módulo de VAD espera N milissegundos de silêncio e então passa a vez. É por isso que todo assistente de voz que você já usou ou interrompe seu raciocínio no meio ou fica em um silêncio agonizante depois que você termina. Silêncio é um proxy terrível para "é a sua vez". Humanos pausam no meio da frase para pensar, deixam a fala morrer de forma convidativa, aceleram quando querem manter a palavra e desaceleram quando estão cedendo. A alternância de turnos é negociada continuamente por meio de prosódia, gramática e contexto — ela é prevista, não detectada.

Modelos full-duplex tratam isso como um problema de modelagem de primeira classe. Como ouvem e falam ao mesmo tempo, conseguem aprender a distribuição real da temporização conversacional humana: quando emitir um backchannel, quando intervir para completar a frase travada de alguém (uma demo do Dessa faz o modelo sugerir o título de um filme que a pessoa não consegue lembrar) e quando calar a boca. A interrupção não é uma condição de erro a ser suprimida; é um sinal a ser modelado. Essa mudança de perspectiva é a verdadeira contribuição aqui, mais do que qualquer demo isolada.

Mas aqui vou criticar o hype, porque os comentaristas do Hacker News têm um argumento legítimo: várias dessas demos parecem ansiosas demais. Quando o modelo ri antes de o humano terminar a frase, ou atropela e emenda um monólogo, parece um modelo que aprendeu "interromper = natural" um pouco bem demais. Alternância preditiva de turnos feita à perfeição é invisível. Feita com 80% de acerto, incomoda mais do que um atraso educado de meio segundo, porque uma interrupção ruim parece grosseira de um jeito que uma resposta lenta não parece. O vale da estranheza para a temporização conversacional é real, e ninguém o atravessou por completo.

Veredito: meio derrubado. Alternância de turnos é genuinamente um problema de aprendizado, não de limiar — mas os modelos atuais provam mais que a abordagem está certa do que provam que o problema está resolvido.

Mito 4: Para aprender linguagem, você precisa de dados de texto em escala de internet

Isso soa óbvio — LLMs consomem trilhões de tokens, logo a linguagem exige trilhões de tokens — até você lembrar que todo ser humano que já existiu aprendeu a falar com alguns anos de exposição ao áudio e zero texto. Bebês são a prova de que a exigência de dados é muito menor do que o manual dos LLMs supõe. O Dessa é a versão de máquina desse experimento: treinado do zero, sem pesos pré-treinados, sem texto algum, apenas com conversas humanas gravadas. E, segundo a equipe, ele aprendeu linguagem a partir de centenas de vezes menos palavras do que um corpus típico de LLM.

Antes de coroar o áudio como o melhor sinal de treinamento, algumas ressalvas honestas. Primeiro, uma palavra falada custa milhares de vezes mais bytes que sua forma escrita, e a fala nunca se repete — a mesma frase dita duas vezes são dados diferentes. Então "menos palavras" não significa "menos bytes"; significa menos palavras, o que é uma afirmação sobre quanta informação a fala carrega por unidade lexical, não sobre eficiência de dados no sentido de armazenamento. Segundo, os corpora de LLMs não são só linguagem — são código, matemática, LaTeX, todo o registro escrito do conhecimento humano. Um modelo só de fala sabe uma quantidade impressionante para a dieta que recebeu, mas ninguém vai pedir que ele revise seu pull request. Isso se conecta a um padrão mais amplo que já cobrimos: benchmarks e demos capturam uma fatia fina do que o trabalho real exige, e o charme conversacional é um eixo de capacidade diferente da profundidade de raciocínio.

O que o resultado de fato estabelece é genuinamente interessante para a pesquisa: a estrutura da linguagem é aprendível apenas a partir da acústica, o que nos diz algo real sobre quanto da "linguagem" vive nas convenções do texto e quanto vive na própria fala. Também abre questões práticas — modelos nativos de fala conseguem aprender idiomas de poucos recursos onde existe áudio, mas não texto transcrito? É um fio que vale a pena puxar, especialmente considerando o quanto o trabalho com idiomas de poucos recursos sofre com a falta de corpora textuais.

Veredito: em grande parte derrubado para a linguagem falada, com um asterisco do tamanho de um data center. Aprender só com fala funciona; só que otimiza outra coisa em relação ao aprendizado só com texto.

Mito 5: Uma voz realista significa um sistema inteligente — ou seguro

Este é o mito que deveria preocupar você, e a seção de comentários percebeu logo de cara: "falsificação de identidade — é para isso que serve." Duro, mas na direção certa. Fluência e inteligência são coisas ortogonais, e a fluência na fala é a mais persuasiva das duas. Um modelo que solta um "meu Deus" com lágrimas no timing perfeito quando você conta a história do seu aniversário de casamento está fazendo algo tecnicamente notável, mas nada disso implica que ele raciocina bem, conhece fatos com confiabilidade ou deixará de inventar coisas com confiança, em uma voz calorosa e empática. Se alguma coisa, a entrega expressiva mascara um raciocínio raso — somos programados para confiar em falantes confiantes e emocionalmente sintonizados. Essa é a base inteira da lábia de golpistas.

O modelo de ameaça se escreve sozinho. Clonagem de voz mais capacidade conversacional full-duplex mais um identificador de chamadas falsificado formam um kit de fraude que derruba o instinto em que a maioria das pessoas confia — "eu saberia se não fosse ele". Uma mitigação de um comentarista vale a pena adotar: uma pergunta de desafio sobre memória compartilhada para qualquer ligação suspeita de alguém que você conhece. Parece paranoico. Vai virar prática padrão. Para crédito da equipe, eles convidam explicitamente pesquisadores de segurança a testar o modelo antes de um lançamento mais amplo, o que é mais do que a maioria dos laboratórios faz. Mas a tecnologia em si é de uso dual no sentido mais literal, e nenhum enquadramento muda isso.

Há também uma história de custo escondida aqui que aponta na outra direção, de um jeito bom. A alegação é que a inferência roda mais rápido que o tempo real em um MacBook Pro com M4 Max, e que o treinamento coube em um único sistema NVIDIA GB200 NVL72. Se esses números se sustentarem, é notável: IA conversacional com cara de fronteira que não fica presa atrás de um cluster de hiperescala. Inferência local importa pela privacidade (sua voz nunca sai do dispositivo), pela latência (nenhum salto de rede no meio de um stream duplex) e por quem pode construir em cima disso. A tendência de eficiência em modelos pequenos e capazes é uma que já apontamos com os LLMs da categoria flash — a ação interessante em inferência está cada vez mais na ponta do "roda em hardware que você mesmo possui".

Veredito: derrubado, e é o mito mais perigoso da lista. Trate o realismo vocal como uma propriedade da interface, não como sinal de capacidade ou de confiança — e ajuste seus hábitos pessoais de segurança de acordo.

O que isso realmente muda

Tire o marketing de "o mais autêntico já construído" (o título foi moderado no Hacker News por um motivo) e o que sobra ainda é significativo: um modelo de fala ponta a ponta é uma coisa categoricamente diferente de um pipeline, e as diferenças se acumulam. A emoção continua no circuito. A temporização vira comportamento aprendido em vez de limiar ajustado à mão. As interrupções viram dados. Nada disso é alcançável deixando o ASR 50 ms mais rápido.

Minha visão pragmática, como alguém que colocou a arquitetura antiga em produção: pipelines em cascata não estão mortos. Para interfaces de voz transacionais — consultar saldo, marcar uma consulta, controlar um dispositivo — eles servem, são depuráveis e cada estágio pode ser trocado de forma independente. Textos intermediários dão logs, redação de dados sensíveis e aplicação de políticas de graça, o que importa muito em produção. Mas, para qualquer coisa em que a conversa é o produto — tutoria, companhia, ferramentas de acessibilidade, treino de negociação — o pipeline é um beco sem saída, e a arquitetura de áudio ponta a ponta é a única capaz de soar natural de verdade. Escolha com base em se seus usuários estão falando com a máquina ou através dela.

As questões em aberto são as mais divertidas. Quão bem funciona o aprendizado em contexto quando o contexto é áudio? Esses modelos conseguem manter um estado conversacional longo sem a muleta de uma transcrição em texto? A fluência emocional torna as falhas mais prejudiciais porque os usuários confiam na entrega? E a mais desconfortável: quando esse nível de imitação rodar localmente em um notebook, o que significará verificar a identidade de um ser humano? Os laboratórios que responderem a essas perguntas com honestidade vão importar mais do que aqueles com o reel de demos mais polido.

A voz é a interface mais antiga que os humanos têm. Passamos quarenta anos forçando-a por um buraco em formato de texto e nos perguntando por que parecia errado. Acontece que o buraco era o problema.