RESEARCH / PRACTICE / NOTES

智能眼镜的语音前端,不应把视觉当作万能补丁

讨论智能眼镜如何结合视觉与声学证据进行目标选择,并在证据冲突时保持保守。

#视听语音#空间音频#智能眼镜
关键词视听语音增强空间语义
镜片遮挡倒影与清晰耳部叠在同一人物照片中

戴着智能眼镜看向说话人时,画面能帮助系统判断该听谁;但侧面发声、遮挡和镜头关闭时,视觉线索又会消失。语音前端不能把“画面里有人”直接当成目标身份。

RDSE 展示双麦商品设备上实时方向性增强的现实约束;LATTE 则尝试以音系结构帮助音频语言模型提取目标语音。两者都说明前端不是大模型之前可随意替换的一层:方向、身份和发音结构会决定后端究竟得到什么证据。

Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search 以强化学习式架构搜索在视听增强的质量、计算与延迟间寻找折中。架构搜索能扩大候选空间,但不会替代部署条件:视频帧率、不同步、弱光、遮挡和隐私禁用都应进入评测。Lightweight Systems for Spatial Semantic Segmentation of Sound Scenes 进一步将目标从单人语音扩展到空间声景语义,提醒系统既要知道“谁在说”,也要理解周围哪些声音仍与用户任务相关。

Oído 探索在低成本微控制器上做开放词汇识别,关注点与视听增强不同,但同样受设备算力约束。对眼镜更直接的测试是关掉摄像头、遮住说话人的脸或打乱音视频同步,分别看目标选择和识别会损失多少。这样才能知道视觉究竟帮了什么忙。

交流与讨论

评论加载中…

随便读一篇 →

站内搜索

输入关键词开始搜索。

搜索内容不会上传 Esc 关闭

订阅明月入怀

将下面的网址添加到你的 RSS 阅读器。