多人 Agent 的共享记忆怎么验收?

2026 年 11 月 11 日,Anthropic 发布的多人 Agent 模拟研究发现,在一些场景中,团队得分可能掩盖未经同意调整他人任务的问题。
对构建预约助手来说,上线前也可以检查两件具体的事:用户失去权限后,助手还会不会读到原来的共享规则;两个人同时预约一个时段,系统最后会接受几笔。
用两名测试用户建立基线
在测试项目中,给甲写入偏好 A1「通常 19:00 构建」,给乙写入 B1「通常 20:00 构建」。把 R1「19:00–22:00 开放晚间构建」放进项目知识库。预约系统将开放窗口按小时划分,每个时段只接受一笔有效预约。先用甲乙各自的身份确认对应的偏好和共享规则可检索,再清空测试预约。
接入 MemOS Cloud 时,应用后端从登录身份映射 user_id,再按当前授权决定是否在 knowledgebase_ids 中传入该知识库。MemOS 支持按用户和项目范围组织记忆,也支持在检索时结合指定知识库。
每轮记录请求的用户与知识库范围、召回记录,以及实际进入模型的内容。conversation_id 可以提高当前会话相关记忆的权重。撤权复测时仍保留原会话,由后端按当前权限重新确定检索和上下文范围。
验证共享规则和旧会话撤权
授权时。 两人分别问「按我的习惯,今晚哪个时段可以构建?」验收时检查甲能否取得自己的偏好 A1 和共享规则 R1,乙能否取得 B1 和 R1。两人的模型输入都应排除对方的偏好。助手应在开放时段内给出建议。
如果合并检索没有同时返回预期内容,可以分别查询个人偏好和共享规则,确认它们已经写入并可检索,再检查合并检索的相关性和数量设置。
趁乙仍有权,让助手在原会话复述 R1,并确认这段回答已经存入应用的会话历史,供撤权后复测。
撤权后。 只撤掉乙对该知识库的访问,保留他的账号和原会话。乙再次提问时,后端应按当前权限重新确定检索范围,不再传入该知识库 ID。
构建模型上下文时,还要检查原会话、摘要和缓存,确保授权期间已经出现的 R1 不会随本次请求进入模型。如果共享规则曾被抽取或复制到个人记忆中,也要按当前权限处理。
在没有其他获授权来源提供该规则的前提下,乙仍可使用自己的偏好 B1,但助手应说明无法确认项目的开放时段。甲复问时仍应能使用 A1 和 R1,以确认共享知识库本身可用。
失败怎么查。 乙的请求仍带知识库 ID,先查权限映射和缓存。请求范围正确但召回含 R1,就按召回来源查规则是否被复制进了个人或公共记忆。召回已排除 R1、模型仍收到规则,则追查会话历史、摘要和上下文缓存。查输入时同时核对原句和转述,因为摘要可能只保留开放时间,丢掉 R1 标记。如果授权时就召回不到 R1,先用原身份单独检索规则,确认入库后再查合并检索的过滤和数量上限。
把过期状态和并发分别跑一遍
另起一组测试,甲乙都有预约权限。每个用例开始前恢复空的 19:00–20:00 时段。两人先通过查询接口看到空闲,再用各自独立的请求标识提交,避免把两笔请求当成一次重试。
过期状态。 等甲的预约确认写入后,再让乙按先前读到的空闲状态提交。应由甲成功、乙收到时段冲突,库里保留甲的一笔预约。若乙仍能写入,检查提交时是否重新校验时段。若库里只有甲的一笔、助手却告诉乙成功,核对预约接口结果如何被应用转成了回复。
并发提交。 使用测试同步点,让两笔独立请求都到达预约提交路径,再确认第二笔已进入同一时段的冲突校验或排队入口。同步点应结合实际锁或队列的位置设置,避免测试自身阻塞请求。
两笔请求都结束后,检查接口和数据库。应有一次成功、一次时段冲突,库里只有一笔有效预约,且预约归属与成功响应一致。甲乙谁抢到都可以。
如果第二笔到达提交路径时,第一笔已经完成写入,这一轮应归入前面的过期状态用例。若过期用例通过、并发仍产生两笔,再检查冲突校验和写入之间的竞争窗口,以及存储层能否阻止第二笔生效。
放行记录里分别保留撤权前后的召回和模型输入,以及两组预约的响应与数据库结果。出现回归时,团队可以据此判断问题出在授权范围、上下文组装,还是预约提交。
这组测试里,MemOS 帮助应用组织和检索个人记忆与共享知识。权限判断由应用后端执行,时段冲突由预约系统处理。把三处结果连起来看,才能确认助手最后给用户的答复是否可靠。