戴着智能眼镜看向说话人时,画面能帮助系统判断该听谁;但侧面发声、遮挡和镜头关闭时,视觉线索又会消失。语音前端不能把“画面里有人”直接当成目标身份。
RDSE 展示双麦商品设备上实时方向性增强的现实约束;LATTE 则尝试以音系结构帮助音频语言模型提取目标语音。两者都说明前端不是大模型之前可随意替换的一层:方向、身份和发音结构会决定后端究竟得到什么证据。
Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search 以强化学习式架构搜索在视听增强的质量、计算与延迟间寻找折中。架构搜索能扩大候选空间,但不会替代部署条件:视频帧率、不同步、弱光、遮挡和隐私禁用都应进入评测。Lightweight Systems for Spatial Semantic Segmentation of Sound Scenes 进一步将目标从单人语音扩展到空间声景语义,提醒系统既要知道“谁在说”,也要理解周围哪些声音仍与用户任务相关。
Oído 探索在低成本微控制器上做开放词汇识别,关注点与视听增强不同,但同样受设备算力约束。对眼镜更直接的测试是关掉摄像头、遮住说话人的脸或打乱音视频同步,分别看目标选择和识别会损失多少。这样才能知道视觉究竟帮了什么忙。

交流与讨论
评论加载中…