当增强系统越来越多地用预测 MOS 排名时,一个更基本的问题被掩盖了:模型给出的绝对分数,是否真的会在人类听者比较两个系统时作出同样选择?答案并不总是肯定的。与此同时,远场识别和空间检测基准也在提醒我们,评测条件本身决定了结论的可信范围。
系统级比较比相关系数更接近真实决策
How Reliable Are Predicted MOS for Reproducing Human System-Level Preferences in Speech Enhancement? 提出系统级偏好准确率(SPA):不再只问预测分数和人工 MOS 是否总体相关,而是问面对两套增强系统时,预测器是否和听者选择同一套。论文的结果很直接:不同单一预测器的 SPA 在 9.4% 到 76.8% 之间,即使最强模型也会在约 23% 的系统比较中与人工判断相反;集成提升有限,域适应在开放条件下也不稳定。
这并不否定预测 MOS 的价值,而是划清其权限。它可以帮助筛查、诊断和大规模统计,却不应独自决定发布或竞赛排名。尤其当两个系统都已达到较高质量,微小的预测分差比人耳偏好更容易受域偏移影响。
为预测器优化,可能只是在优化预测器
Improving Predicted MOS Scores, Not Perceived Quality 将风险验证得更彻底:直接在测试时修改增强输出,使多个 MOS 预测器的平均分升高。URGENТ 2026 挑战系统上的结果显示,被优化预测器的分数都上升,参考指标几乎不变,未参与优化的预测器也没有同步改善;MUSHRA 听测则未发现感知质量提升。换言之,代理目标可被系统性“讨好”。
因此训练、选择和评测不能共用同一个黑箱裁判。至少应保留独立预测器、人工听测、任务指标与原始信号对照,并公开说明各自在哪个环节参与决策。否则数字会越来越漂亮,真实体验却没有证据变好。
基准需要让失配变量单独出现
FFASR 的远场 ASR 基准用 15,637 条保留测试语句、实测与仿真房间成对条件、不同 SNR 与移动说话人设置,把常被混在一起的因素拆开。其报告显示,当代系统从近场到低 SNR 静态远场的平均 WER 可从 4.4% 恶化到 41.3%;实测与高保真仿真条件的平均差约 1.7 个百分点。这既说明仿真具有价值,也说明远场困难不能被单一室内测试代表。
PG-SELD 对声事件定位检测提出相似思路:以自由场物理模型作为房间无关教师,让混响输入的中间表征向自由场参考对齐,试图保留事件与方向信息、降低对特定房间的依赖。评测若不能明确哪些因素被改变,模型就很容易把房间、阵列或数据集身份误学成任务规律。
可靠评测的任务不是快速产出一个冠军,而是让人知道结论在什么范围内成立。预测 MOS、远场 WER 和空间定位分数都可以很有用;前提是它们不被允许替代彼此,也不被允许替代人对系统行为的最终判断。