RESEARCH / PRACTICE / NOTES

全双工对话的速度,不应以持续改口为代价

讨论全双工语音如何在低延迟、打断、重叠和身份变化之间保持稳定决策。

#全双工语音#多人对话#自动语音识别
关键词流式识别
印刷机的压辊夹住正在经过的纸张,出口处的纸页留下轻微运动虚影。

全双工系统可以边听边答,麻烦也正在这里:用户一句话尚未说完,系统已经把前半句识别结果用于生成回应。遇到重叠说话或打断,输出越快,改口的代价可能越高。

SmoothConv and DuplexConv 提供面向中文多人交互的互补会话语料,保留重叠、停顿、回合衔接和多方参与等结构。做训练或评测时,若又把它们切成整齐的单句,最需要研究的打断与等待就被切掉了。

DiffuPlex 用滚动掩码扩散加速全双工口语对话模型,探索生成与接收并行时如何减少响应等待。任何生成加速都应同时测量打断恢复、错误延续、语义一致性和轮次归属;若快速输出导致系统更频繁地覆盖用户或自行修订,体验不一定比稍慢的保守策略更好。

X2Streaming-ASR 把“说什么”与“何时提交”分开处理:识别器可以先保留尚未确定的 token,等到证据足够再提交。生成端也有类似的提交问题。评测全双工速度时,除了首字延迟,还要记录输出后的撤回、改写和打断恢复;否则系统只是把等待时间转嫁给了用户。

交流与讨论

评论加载中…

随便读一篇 →

站内搜索

输入关键词开始搜索。

搜索内容不会上传 Esc 关闭

订阅明月入怀

将下面的网址添加到你的 RSS 阅读器。