长时对话系统常把记忆理解为“能不能找回说过的话”，但多人环境里更根本的问题是“这句话是谁说的、它指向谁、它改变了谁的状态”。若身份在转写、存储和检索的边界处丢失，再流畅的摘要也可能把责任和关系写错。
内容记忆与身份记忆需要并行保存
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue 将这个问题拆成两条轨道：一条保存带说话人标签的逐字消息，另一条维护按个人与群组组织的派生状态。检索时，系统按实体、事件和时间融合两类证据，而不是只从扁平对话历史中寻找语义相似的句子。作者还使用说话人条件奖励与 SpeakerLevenshtein 奖励训练写入器，重点减少归属和状态更新错误。
在 GroupMemBench、SocialMemBench、EverMemBench 与 LoCoMo 上，论文给出了面向多方记忆的对比结果；其中受控实验显示强化学习使 Writer-R1 的准确率从 57.38% 提升到 68.20%。这些数字尚不能证明任何会议系统都能可靠归属，但它们说明一个常被忽略的事实：只靠更长上下文和更强文本检索，无法自动补回在上游被抹去的说话人结构。
语音链路应当把身份作为可回溯证据
将这项工作放回语音系统，会得到一个更严苛的要求。说话人日志不应只在单场录音内给出可任意重编号的标签；如果输出要进入长期记忆，身份置信度、注册来源、跨会议一致性以及不确定片段的处理方式都应一并保存。否则，一次短暂的重叠说话或一次错误聚类，就会在摘要、检索和行动建议中被放大成稳定但错误的叙述。
这也是为什么持续说话人归属值得单独评测。后续关于跨会议持久说话人归属的基准工作进一步指出，单会议内最优映射并不能衡量同一人是否在不同会议里保持相同身份。对外展示的会议记录尤其不应把“模型猜测的身份”伪装成没有不确定性的事实。
记忆系统的边界在写入阶段
双轨结构并非免费午餐：派生状态越丰富，错误写入后可被检索的错误也越多；人级与群组级视图如何冲突、长期隐私如何处理、身份变更怎样审计，都仍需要系统设计来回答。它带来的最有价值的原则是克制：记忆不只是压缩历史，而是记录证据关系。系统应允许保存“尚不确定是谁说的”，而不是为了形式整齐强行分配一个名字。
多人语音的质量因此不能只用转写正确率衡量。只有当内容、身份、时间和置信度能一起穿过存储与检索链路，会议记录才有资格成为可依赖的长期记忆。