实时语音的难处并不在于把多个模块依次串起来,而在于每个模块都会改变另一个模块赖以判断的证据:回声控制影响语音质量,波束形成影响方位线索,目标提取又依赖身份状态。9 月底的几项工作试图让这些关系从固定流水线走向可适应的闭环。
扩散模型终于开始面对因果约束
DiffVQE2 将扩散式建模用于联合声学回声与噪声控制,并明确把低延迟因果处理作为目标。此前相关扩散方法大多以非因果、整句处理换取质量,难以进入通话链路。论文在 ICASSP 2023 AEC Challenge 盲测集上与 DeepVQE 系统比较,报告客观指标和主观 MOS 的提升,并给出更高效的 DiffVQE2-S;有限 lookahead 能继续改善结果。
这类结果首先应被放在时延预算中理解。扩散步骤、特征缓存、回声路径变化与双讲条件都会影响最坏情况延迟;“允许一点 lookahead”也必须明确是怎样的一点。它的意义在于把生成式质量模型拉回因果工程问题,而不是证明扩散天然适合所有实时场景。
低功耗神经波束形成的价值在于完整流水线
Transformer-based Neural Beamforming for Real-Time Speech Enhancement on Smart Low-Power Hearable Devices 采用六麦阵列和混合精度分工:float32 MVDR 保持数值稳定,int8 CNN 估计权重,float16 Transformer 做逐帧修正;CNN 权重每 564 ms 更新一次,音频仍以 15 ms 帧处理。论文报告平均功耗 45.9 mW,静音时由 SAD 旁路,并给出可穿戴设备续航估计。
即使具体数字依赖硬件与实现,这份工作仍比单纯的网络对比更有启发性:波束形成不是一个独立“模型层”,它需要和帧率、缓存、量化、静音策略一起被测量。要评估其可靠性,还应继续追问阵列标定误差、风噪、佩戴变化和目标移动时的指向稳定性,而非只看静态测试中的 SI-SNR 或 PESQ。
从合成到真实的迁移需要目标感知的监督
RemixIT-TSE 将 RemixIT 用于目标说话人提取的合成—真实适应。基本思路是利用教师模型产生的估计构造重混训练样本,却以目标身份条件约束伪标签与重混过程,避免普通自训练将干扰者也固化为目标。真实会话没有信号级真值,因此这种渐进适应特别需要独立评估目标缺席、注册失配、重叠程度和说话人泄漏,而不能仅用合成分离指标推断成功。
身份还可帮助串联方向证据。Identity-Assisted Association of Unordered DOA Estimates for Neural Speech Source Tracking 提醒我们,逐帧到达方向估计若没有跨时关联,交叉移动或短暂遮挡就会交换轨迹;把身份线索作为关联证据,才可能稳定地维护“这个方向属于谁”。而 GAMF 则尝试以学习与解析的阵列传递函数匹配兼顾不同阵列的 DOA 泛化。二者都说明方向估计不只是每帧找峰值,更是跨设备、跨时间维护身份一致的状态估计。
一条低延迟语音链路的成熟标志,不是每个局部模块都在各自基准第一,而是回声、空间和身份三类证据在变化时不会互相摧毁。保留原始路径、报告最坏延迟、让身份和方向能够彼此校验,往往比多堆一个复杂网络更接近可靠系统。