全双工系统可以边听边答,麻烦也正在这里:用户一句话尚未说完,系统已经把前半句识别结果用于生成回应。遇到重叠说话或打断,输出越快,改口的代价可能越高。
SmoothConv and DuplexConv 提供面向中文多人交互的互补会话语料,保留重叠、停顿、回合衔接和多方参与等结构。做训练或评测时,若又把它们切成整齐的单句,最需要研究的打断与等待就被切掉了。
DiffuPlex 用滚动掩码扩散加速全双工口语对话模型,探索生成与接收并行时如何减少响应等待。任何生成加速都应同时测量打断恢复、错误延续、语义一致性和轮次归属;若快速输出导致系统更频繁地覆盖用户或自行修订,体验不一定比稍慢的保守策略更好。
X2Streaming-ASR 把“说什么”与“何时提交”分开处理:识别器可以先保留尚未确定的 token,等到证据足够再提交。生成端也有类似的提交问题。评测全双工速度时,除了首字延迟,还要记录输出后的撤回、改写和打断恢复;否则系统只是把等待时间转嫁给了用户。

交流与讨论
评论加载中…