全双工语音模型：测试五个语音AI迷思

我花了两年时间在经典技术栈上构建语音助手：语音转文字进，大语言模型居中，文字转语音出。我们上线的每一项延迟优化都让它变快了，但不知为何体验反而更差。最近出现的一批全双工语音模型，比如 Dessa，这是 Block 旗下一家小型实验室发布的研究预览版，完全从原始人类对话中从零训练而成，终于解释了原因。问题从来不是速度，而是架构。而且关于语音AI“应该”如何工作，流传的经验之谈多得惊人。所以我们就像测试DeepSeek 推理引擎的迷思那样，把关于对话式语音AI的常见看法拿出来，对照这些新模型的实际表现逐一检验。

迷思一：级联流水线只需要更低的延迟

这是我坚信最久的看法，也是错得最离谱的一个。标准架构，即自动语音识别（ASR）输入给大语言模型，再输出给文字转语音（TTS），有一个任何工程手段都无法修复的致命缺陷：第一环节就删掉了对话所依赖的信号。

转写语音时，你保留了文字，丢弃了其他一切。犹豫、讽刺、说“行吧”之前的那声叹气、声音里透出的即将哭出来的颤抖。ASR 环节把这一切都压成了类似“我没事”这样的字符串，下游的大语言模型根本无从得知用户已经很难过。你当然可以再接一个独立的情绪分类器，但这样就多了第四个模型，又多出约 100 毫秒延迟，最后得到一个像 sadness: 0.73 这样的标签，而大语言模型依然只把它当作一个 token，而不是一种感受。这相当于对信道中承载意义最多的那部分做了有损压缩。

还有第二个更隐蔽的问题：流水线中的延迟是累加且串行的。ASR 要等你停止说话（或者它猜测出一个端点）才能结束，大语言模型要等 ASR 完成才能开始，TTS 要等大语言模型吐出 token 才能启动。人类并不是这样对话的。对方还没说完，我们就已经开始组织回应了，这也是为什么自然对话中两轮发言之间的平均间隔大约只有 200 毫秒，比大多数级联系统完成 ASR 环节的时间还短。全双工模型在一个网络中持续处理音频输入与音频输出，直接绕开了整条排队链路。这就好比接力赛和两个人正常聊天的区别。

结论：迷思被推翻。在级联流水线上调延迟，是在优化错误的变量，架构本身才是瓶颈。

迷思二：文字包含了对话中所有重要的信息

你可以试试这个实验，它来自 Dessa 团队的文章，是我见过的最清晰的说明。把英文句子“I didn't say she stole my CUDA code.”大声读七遍，每次重读不同的词。文字完全一样，意思却截然不同：否认指控、暗示是别人干的、纠结动词的用法。基于文字的系统只看到一个输入，语音原生模型却能分辨出七种。

韵律（重音、音高、节奏、语速）并不是附加在语言之上的装饰。在口语对话中，它本身就是语言的很大一部分。句中的笑声与句末的笑声传达的信息不同。回应词（“嗯”“对”“明白了”）本身几乎没有词汇内容，但如果一段对话里去掉它们，就像在跟墙说话。如果你的系统内部表示是文字，那就已经输了。这些信息从未进入模型，下游再多的巧思也无法找回。这就像把奈奎斯特定理用在用户体验上：采样率低于信号带宽，混叠就是永久性的。

这还关系到安全问题，也是我觉得最有说服力的论点。一个语音助手如果听到“我疼得厉害”却是平淡的语调，那它就对最需要感知紧迫性的那种模态充耳不闻。Dessa 团队明确指出：随着 AI 系统越来越自主，对人类语音中的情感内容视而不见，就不只是用户体验的缺口，而是一种隐患。无论你是否认同他们的模型就是解决方案，这个诊断本身是对的。

结论：迷思被推翻，而且根本不接近。文字是语音的一种投影，而任何投影都会丢失一个维度。

迷思三：轮流发言只是语音活动检测的问题

问大多数工程师语音助手如何判断什么时候该说话，他们会回答“端点检测”：VAD 模块等待 N 毫秒的静音，然后把控制权交出去。这就是为什么你用过的每一个语音助手，要么在你话没说完时打断你，要么在你说完后陷入令人煎熬的沉默。静音是“轮到你了”的糟糕代理。人类会在句中停顿来思考，会拖长语调示意“你接着说”，想保持话语权时会加快语速，准备让出话语权时会放慢。轮流发言是通过韵律、语法和语境持续协商出来的，它是预测出来的，而不是检测出来的。

全双工模型把这当作一等的建模问题来对待。因为它们同时聆听和说话，所以能够学习人类对话时间节奏的真实分布：什么时候该回应“嗯”，什么时候该插话替对方补全卡住的句子（Dessa 的一个演示中，模型在人类想不起电影名时直接把片名说了出来），以及什么时候该闭嘴。打断不是需要压制的错误状态，而是需要建模的信号。这种重新定义才是这里真正的贡献，比任何单个演示都更重要。

但我要对炒作泼点冷水，因为 Hacker News 上的评论者说得有道理：好几个演示看起来过于热情。模型在人类还没说完一句话时就笑出声，或者一口气抢话变成独白，这让人觉得它把“打断=自然”学得有点过头了。预测式轮流发言做到完美时是隐形的；做到八成时，就比礼貌的半秒延迟更让人恼火，因为糟糕的打断让人觉得无礼，而慢半拍的回应不会。对话节奏的恐怖谷确实存在，而且还没有人真正跨过去。

结论：半被推翻。轮流发言确实是一个需要学习的问题，而不是阈值问题，但目前的模型更多证明了这条路线是对的，而不是证明问题已经解决。

迷思四：学习语言需要互联网规模的文本数据

这一点听起来很显然：大语言模型要消化数万亿 token，所以语言就需要数万亿 token。直到你想起每个人类都是在几年的音频环境中学会说话的，完全没有接触文字。婴儿就是存在的证明：数据需求远比大语言模型的那套打法要低得多。Dessa 就是这个实验的机器版：从零训练，没有预训练权重，完全没有文字，只靠录制下来的人类对话。而根据团队的说法，它学习语言所用的词数比典型大语言模型语料少了数百倍。

在我们把音频捧为更优的训练信号之前，有几点需要诚实说明。第一，一个口语词的字节数是其文字形式的数千倍，而且语音从不重复，同一句话说两遍就是两份不同的数据。所以“词数更少”并不等于“字节更少”；它说明的是语音每个词汇单位承载的信息量，而不是存储意义上的数据效率。第二，大语言模型的语料不只是语言，还包括代码、数学、LaTeX，以及人类知识的全部书面记录。一个纯语音模型在其训练饮食下已经知道的东西多得惊人，但没人会请它帮你审查 Pull Request。这也与我们之前报道过的一个更大的模式相关：基准测试和演示只捕捉了真实工作需求的一小部分，而对话式的魅力是与推理深度不同的能力维度。

这一结果确实证明了一件对研究很有意思的事：语言结构仅靠声学信号就能学会。这说明“语言”有多少存在于文字惯例中、又有多少存在于语音本身中，这一点很有启发。它还带来了实际问题：语音原生模型能否学会那些有音频却没有转写文本的低资源语言？考虑到低资源语言研究长期受困于文本语料缺失，这条线索值得深挖。

结论：就口语而言基本被推翻，但需要附上一个数据中心那么大的注脚。纯语音学习是可行的，只不过它优化的目标与纯文本学习不同。

迷思五：逼真的声音就意味着系统聪明，或者安全

这是最该让你担心的迷思，评论区也第一时间注意到了：“冒充，这就是它的用途。”话说得很刻薄，但方向大体正确。流利度与智能是相互独立的，而语音流利度更具说服力。一个模型用完美的哽咽节奏对你的周年纪念故事说出“我的天哪”，这在技术上确实了不起，但这并不意味着它推理能力好、事实可靠，或者不会用温暖共情的声音自信地编造内容。相反，富有表现力的表达恰恰会掩盖浅层推理，因为我们天生就信任自信且情感投入的说话者。这正是骗术的基础。

威胁模型几乎不言自明：语音克隆加上全双工对话能力，再配上伪造的来电显示，就组成了一套能击穿大多数人本能防线的诈骗工具包，而大多数人依赖的正是“我能听出来不是他本人”这种直觉。评论者提出的一个缓解办法值得借鉴：对于来自熟人的可疑来电，问一个只有你们俩才知道的共同经历。这听起来有点偏执，但它很快就会成为标准做法。值得肯定的是，团队明确邀请安全研究人员在更广泛发布之前对模型进行测试，这比大多数实验室都做得更好。但这项技术本身在最字面的意义上就是双重用途的，再怎么包装也改变不了这一点。

还有一个隐藏其中的成本故事，朝着好的方向发展。据称，推理在 MacBook Pro（M4 Max）上能够快于实时运行，而训练只用了一台 NVIDIA GB200 NVL72 系统。如果这些数字站得住脚，那就非常了不起：这意味着有“前沿级”对话能力的 AI 不必被锁在超大规模集群后面。本地推理对隐私很重要（你的声音永远不离开设备），对延迟很重要（全双工流中间没有网络跳转），对于谁有权基于这些技术去构建也很重要。小型高能力模型的效率趋势，我们之前在Flash 级大语言模型上也提到过：推理中真正有意思的部分，正越来越多地转向“在你自己拥有的硬件上运行”这一端。

结论：被推翻，而且这是清单里最危险的一个迷思。应把逼真的人声视为一种界面属性，而不是能力或信任的信号，并相应地调整你个人的安全习惯。

这究竟改变了什么

抛开“史上最真实”这类营销话术（这个标题在 Hacker News 上被管理员审核过，是有原因的），剩下的东西依然意义重大：端到端语音模型与流水线是本质上不同的东西，而这些差异会层层累积。情感留在了回路之中。时机变成了习得的行为，而不再是手工调节的阈值。打断变成了数据。这些都不是把 ASR 提速 50 毫秒就能实现的。

作为一个曾经上线过旧架构的人，我的务实看法是：级联流水线并没有死。对于事务型语音界面，比如查余额、订预约、控制设备，它们够用，而且可调试，每个环节都可以独立替换。文字中间层让你免费获得日志记录、信息脱敏和策略执行，这在生产环境中非常重要。但对于对话本身就是产品的场景，比如辅导、陪伴、无障碍工具、谈判练习，流水线就是死胡同，端到端音频才是唯一有可能真正感觉自然的架构。选择取决于你的用户是在对机器说话，还是通过机器说话。

开放问题才是最有意思的。当上下文是音频时，上下文学习的效果如何？这些模型能否在不依赖文字转写这根拐杖的情况下，维持长时间的对话状态？情感上的流利会不会让失败更具危害，因为用户会信任那种表达？还有那个令人不安的问题：一旦这种质量的模仿能在笔记本电脑上本地运行，人类身份的验证还意味着什么？那些诚实回答这些问题的实验室，会比那些拥有最炫酷演示视频的实验室重要得多。

语音是人类最古老的界面。我们花了四十年时间，强迫它穿过一个文字形状的洞，然后纳闷为什么总觉得不对劲。原来问题就出在那个洞上。