语音前端的很多进步都建立在一个方便的假设上:干净源、退化方式和注册样本彼此匹配。真实会话恰好逐一违反这些假设。9 月 24 日的论文把这个问题从无配对增强、多人目标提取、文本条件选择到低码率传输分别摊开,结论并不乐观,却比又一个合成基准的高分更有价值。
不配对数据不是免费的监督
SE-MSB 以 Diffusion Schrödinger Bridge 在干净和退化语音分布之间学习随机传输,试图绕开配对训练对人工退化的依赖,并以 Mamba 承担端到端波形扩散的高效建模。框架直面真实域的无配对数据,因此值得关注;但生成式增强的风险也必须并列写出:输出可能产生没有证据的细节,实时率、参数量和语音幻觉检查若未被报告,就不能用常规 PESQ/STOI 把问题盖过去。
Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement 则先把仿真—真实鸿沟拆成可测条件:真实多人会话中目标沉默远多于持续说话,注册片段与会话内目标也并不匹配。论文以新的损失减轻训练中过量静音的影响,并报告 STOI 由 0.55 到 0.60、频域加权分段 SNR 由 4.35 到 5.12。增益并不夸张,恰好说明问题没有被一个损失函数解决;它要求训练和评估都显式报告静音比例、注册失配和真实会话条件。
选择目标的线索不只来自音色
Inter-Speaker Relative Cues for Two-Stage Text-Guided Target Speech Extraction 讨论文本引导 TSE。与将连续属性粗暴离散成绝对类别不同,相对线索保留“更高/更低、较近/较远”这类可比较关系;系统先分离候选源,再以文本条件选择目标。理论动机合理,但现实应用必须回答文本描述从何而来、前一级分离出错后怎样恢复。它更像对目标定义方式的提醒,而非立即可部署的完整方案。
另一条更保守的路线是 A Hybrid Classical-Learning Framework for Adaptive Decision Directed Speech Enhancement。它给经典判决引导谱估计加入逐帧增益下界,轻量 MLP 根据输入预测 beta,平衡抑制与弱语音保留。与大生成模型相比,这种“可解释底座 + 小学习模块”不承诺覆盖所有退化,却提供极低成本、可审计的后处理候选。
边缘设备迫使系统重新审视流式性
TinyCall 面向 ESP32、树莓派等资源受限平台,把因果训练的 codec 通过伪前瞻解码与解码器输入缓存转换为真正流式系统,并以 RFSQ 替代传统 RVQ 降低量化与推理负担。摘要没有给出完整码率和质量数字,窄带天花板也不应被忽略;但它把“模型能否实时”还原为缓存、前瞻、量化和硬件共同决定的工程问题。
短语音声纹同样属于信息不足的失配。Beyond Short Segments 以可学习向量档案库补足短时特征,并接入 WavLM+ECAPA-TDNN;文中给出 1 秒 VoxCeleb1 条件下 EER 为 8.334%。档案库容量、过拟合和噪声跨域尚待验证,但它提醒人们:目标身份的证据不足时,不能假设一个固定嵌入会自然稳定。
Realtime-Venus 提供了系统层面的另一种失配:用户会打断、背景会说话、工具任务会延迟返回。它用共享因果时间线和前台交互—后台异步委托的双循环运行时处理这些事件。大模型规模并不适合端侧直接复制,但“打断后如何继续、后台结果如何回到仍在进行的对话”应成为全双工系统评测的一部分。
这些论文的共同点不是某个统一模型,而是拒绝把真实条件简化为一次合成加噪。数据是否配对、目标是否沉默、注册是否失配、文本条件是否可得、码率和缓存是否允许流式运行——每一项都应成为实验报告里的显式变量。只有这样,离线分数才有机会转化为真实会话里的可靠行为。