空间语音系统通常先定位、再波束形成、再评价输出。但若定位本身有误,最终语音质量恰好是最接近用户体验的反馈信号。近期几项工作开始把这条反馈链显式接回前端,同时也让质量评测和鲁棒音频语言模型承担更清楚的责任。
用多个波束的质量曲线校正定位
Multi-agent Auditory Scene Analysis 在实时听觉场景分析中,不再依赖单一候选方位的质量估计来修正定位,而是在多个方位并行波束形成、得到一组语音质量反馈。这样优化器看到的不是剧烈波动的单点分数,而是一片可比较的候选空间。论文报告该机制缩短优化时间、提高定位精度,并在真实场景中的大初始定位误差下更稳定。
这里的“多智能体”并非关键结论;关键是将下游输出品质作为上游状态估计的观测量。它也带来新风险:无参考质量模型若在某种噪声、说话人或方位上偏置,反馈环就可能稳定地收敛到错误位置。因此系统应同时检查质量估计的校准、候选波束的覆盖范围和输出方向的物理一致性,不能把质量分数当成天然可靠的导航信号。
频率权重让主动降噪的取舍更具体
Frequency-Weighted Soft-Constrained Spatially Selective Active Noise Control 将开放式耳戴设备的空间选择性 ANC 从全频一个折中参数推广到频率相关加权。作者在多说话人实测声学场景中比较 SII、MIRS、LTASS 与信号相关 oracle 权重:LTASS 和 oracle 在更低目标失真下获得最大的可懂度改善,而 LTASS 不需要干净目标语音即可接近 oracle 的感知折中。
这种结果的工程意义不在于某种权重必然最优,而在于折中被公开成可调、可验证的频率结构。目标语音的低频能量、高频清晰度与空间选择性并不应共享同一个惩罚系数。相应地,任何实际部署都应说明权重如何随内容、设备佩戴与环境变化,而不是只给出一个离线平均分数。
冻结大模型,仍可让它学会在证据不足时拒答
AnchorPrompt 为音频语言模型加入一段位于音频与问题嵌入之间的软提示,同时冻结模型主体。通过跨多类音频与文本扰动的自蒸馏,干净输入以原模型预测为目标;音频证据不足时则将“拒答”作为正确行为。论文在三个模型、三个基准上报告多数条件下更高回答一致性,并在重度损坏时减少幻觉,代码与音频样例已公开。
它与空间反馈形成有趣的呼应:前端用质量曲线避免盲目锁定方向,后端用拒答避免在证据缺失时编造答案。两者都不应被理解为完全自动化的安全保证,但都把“不确定”从异常状态变成可设计、可测试的输出。
一个成熟的语音系统需要允许信息从后向前传递:输出质量可校正空间假设,输入置信度可约束语言模型回答。前提是每条反馈链都存在独立验证,且能够在反馈失真时退回保守路径。