人工主观评分昂贵,却不能因此把任意一个自动质量分数直接当作真相。10 月初的研究一面尝试从多个公开预测器构建无标签质量代理,一面探索免训练复用预训练 ASR 与不依赖语音编码器的模型路线;它们共同说明,资源复用只有在验证边界被保留时才真正可靠。
多教师比单一预测器更有机会,但不等于获得了人耳
ProxyMOS 将八个公开 MOS 预测器先与人工评分做基准比较,选出信息量较高的候选,再比较均匀、相关度加权、误差加权、MSE 优化与逐句自适应路由等组合方式。最优的四模型路由集成对 80.7 万条无标注语音产生伪标签,并训练 wav2vec 2.0 学生;论文报告学生在 URGENT 上的相关系数高于最佳单教师,在新发布的 mos260 俄语 TTS 基准上也给出逐句和逐条件结果。模型、ONNX 导出和数据集均公开。
最值得保留的结论是:自适应路由是唯一在加入较弱预测器时不退化的规则。它避免了“模型越多越好”的直觉陷阱。不过多教师只降低了某些教师的共同偏差风险,无法证明它等价于听者偏好。训练学生、选择系统与最终发布时,仍要保留未参与蒸馏的评测器、参考指标和必要的听测。
预训练 ASR 可以派生新任务,但关键指标不能省略
Toward Elastic Speech Inference 尝试不做梯度微调,直接从预训练 ASR 骨干派生唤醒词检测,并以 PCA 结构化剪枝压缩编码器。在 Parakeet-TDT-0.6B-v3 与 Moonshine-base 上,编码器通道缩减 50% 后检测性能仍相对稳定。这个方向非常有吸引力:同一主干可以减少训练、存储与维护成本。
但“相对稳定”还不够成为端侧唤醒的结论。误唤醒率、漏唤醒率、持续功耗、不同口音与背景下的最坏延迟,才是常驻入口的必要指标。免训练不是免验证;一个任务从 ASR 继承了什么能力、又丢失了什么校准,应被明确量化。
去编码器并不等于放弃声学结构
Teaching LLMs to Hear Who Spoke What 探索 encoder-free Speech-LLM:将梅尔谱经轻量嵌入层直接送入语言模型,以说话人身份、情感等元数据监督预训练,并用说话人感知话语组合强化多人区分。论文在联合 ASR/说话人日志和副语言任务上与编码器式基线比较,指出元数据有限时其表现可接近或超过部分预训练编码器方案。
这项工作并没有宣称语言模型天然会听懂全部声学细节,反而强调数据组织和元数据监督的作用。真正的难题仍是长音频的序列成本、与成熟语音编码器的公平比较,以及不同说话人和环境条件下的可解释失败方式。把编码器拿掉并不能让声学问题消失,只是把它移到预训练目标与输入表示的设计中。
无标签代理、免训练派生与新架构都值得尝试,但它们不应削弱最基本的纪律:代理必须接受独立审计,资源节省必须换算为实际设备收益,而任何声称理解了语音结构的模型都应在身份、内容和环境变化时解释自己的边界。