“实时语音增强”这个名字很容易把讨论缩减成一个实时率和一个质量分数。但 9 月 18 日的一组论文恰好说明,真正的实时性至少横跨四层:状态是否能持续、计算是否可预算、空间信息是否被保留、以及系统是否真的服务了它面对的人。
固定状态与渐进蒸馏:把速度写进模型,而不是写在部署脚本里
RT-SEMamba 采用全因果时频 Mamba 块。与推理长度增加时 KV cache 也随之增长的 Transformer 不同,Mamba 每层传递固定大小的循环状态,因而更容易对长音频的内存和带宽做预算。论文又以渐进知识蒸馏同时约束复数谱输出和中间表征,将 8 层教师压缩为 1 层学生。实验在 Voicebank-DEMAND 上报告:8 层模型在 25 ms 算法时延下达到 3.32 PESQ;1 层学生相对朴素基线由 3.06 增至 3.18,稳态 RTF 不变、相对教师加速 2.75 倍。
这些结果提供的是质量、延迟和模型深度之间的一个具体折中,而非对所有噪声条件的结论。训练和测试集中是否覆盖移动、非平稳噪声,真实设备上的功耗和听测是否一致,仍需要进一步材料支持。它最值得保留的方法论是:在训练中同时约束输出与内部表示,并将状态大小、时延和吞吐作为设计变量,而不是最后才对大模型做削减。
Performance and Complexity Trade-off Optimization of Speech Models During Training 从另一方向处理同一问题。它用特征噪声注入重参数化,使层宽、复杂度等通常不可微的架构因素能够随 SGD 共同优化;在合成示例、VAD 与反欺骗任务上验证训练期寻找性能—复杂度折中。蒸馏压缩已训练网络,复杂度优化则试图让网络从一开始就长在预算里,两者可以互补,也都需要在真实硬件上而非只在 FLOPs 表中完成验收。
增强做在哪个空间,决定了什么会被保留
Mask-Based Speech Enhancement for Spatial Audio 没有把“增强域”当成实现细节,而是直接比较时频掩蔽作用在原始麦克风通道、波束输出、Ambisonics 表征时的后果。结果十分清楚:波束域掩蔽得到最高的增强分数,Ambisonics 域则更好地保存残余干扰的空间属性;三条路径都能保住目标声源定位线索。对于空间听觉应用,这是一条重要的反直觉提醒:抑制得最强,不一定就是听起来最对。
Task-oriented neural FOA encoding for SELD from irregular microphone arrays 把这种分歧推进到中间表征。它先对传统 FOA 编码做信号相关的神经残差校正,再借助教师—学生和帧级置换不变蒸馏从理论 FOA 迁移事件与空间知识。在四面体阵、12 通道阵列的合成条件和 LOCATA 静态真实录音中,教师引导改善了下游 SELD 并降低定位误差;但更低的 FOA 重建误差并不保证更好的 SELD。对于非规则阵列,这条结论尤为关键:若最终任务是定位或事件检测,信号重建损失只是代理,不是任务本身。
跨模态关系、检索关系与用户关系都需要单独验证
G-Mamba 处理音视频增强时没有把视觉简单拼到音频特征上。它用稀疏异构图表示模态内和跨模态关系,以 Mamba 的线性复杂度处理长时序,并保留音频跳连。论文在 LRS3 上报告噪声条件下 13.091 dB 的 SI-SDR、3.45 G MACs,并在 VoxCeleb2 上继续验证。它面对的是一个常被忽略的风险:强噪声时,跨模态对齐本身并不可靠;昂贵的稠密注意力可能只是更有效率地放大错误匹配。
VoiceTrace 则把检索从“说了什么”扩展为“谁说了什么”。查询由文本和参考语音共同构成,先用统一嵌入进行召回,再以重排器判断候选是否同时符合内容与说话人。相较于声纹检索与语义检索的机械级联,这种联合建模更贴近会议档案、访谈和多说话人资料的真实检索需求,但模型规模、语言覆盖和端侧代价仍是开放问题。
最后,Absolute Quality Ratings of Speech Enhancement Systems by Listeners of Different Ages and Degrees of Hearing Loss 把“谁在评价”变成研究变量。40 名年轻正常听力被试与 67 名 60–95 岁、听力状况多样的老年被试对自然对话和真实背景条件下的增强系统做绝对质量评分。文中最值得保留的观察是:年轻听者能清楚区分的系统差异,在老年组中会缩小甚至不可区分,且这一现象不能只由听力损失程度解释。任何面向真实用户的增强系统,都不该假设一个单一的听者群体能够代表全部体验。
全双工的“实时”是对时间关系的建模
StepAudio 3 Realtime 技术报告将听、说、推理和工具调用组织为连续环路。其 Deep Perception 处理声学线索,Seamless Duplex 面向停顿、附和与打断,Think-While-Speaking 则尝试在生成语音时并行进行私有推理;报告给出 MMSU 90.6、Full-Duplex Bench 98.9、τ-Voice 宏任务成功率 56.0 等数值。闭源报告难以支持完整复现,也不能据此推断端侧能力,但它说明全双工系统的评测已经不再只是响应首字延迟:打断后是否能恢复、工具调用是否打断对话、说话与思考能否保持一致,都是需要被明确测量的行为。
从 Mamba 蒸馏到空间掩蔽,从不规则阵列表示到不同听者的评分,这组论文共同要求我们重新定义“实时”。它不是离线模型跑得更快,而是在计算、空间、跨模态证据、检索需求和用户差异同时存在时,系统仍能说明自己保留了什么、牺牲了什么,以及这些取舍是否被真正的人和任务验证过。