[{"data":1,"prerenderedAt":664},["ShallowReactive",2],{"docs-page-cn-/cn/usecase/blog/memory_poisoning_controls":3,"surround-cn-/cn/usecase/blog/memory_poisoning_controls":657},{"id":4,"title":5,"avatar":6,"banner":6,"body":7,"category":6,"desc":6,"description":622,"extension":651,"lead":6,"links":6,"meta":652,"navigation":6,"path":653,"seo":654,"stem":655,"__hash__":656},"docs/cn/usecase/blog/memory_poisoning_controls.md","Memory Poisoning：企业 Agent 必须建立的六道长期记忆控制",null,{"type":8,"value":9,"toc":621},"minimark",[10,21,24,27,30,33,36,41,44,47,66,69,72,74,77,166,169,171,174,179,182,185,187,191,194,197,199,203,206,209,211,215,218,221,223,227,230,233,235,239,242,245,247,251,254,257,369,372,374,378,381,412,415,418,420,423,426,429,432,435,437,440,443,446,449,469,472,474,477,480,483,486,488,491,523,525,528,532,535,537,541,544,546,550,553,555,559,562,564,568,571,573,577,580,583,600,603,606,608,612,615,618],[11,12,13],"blockquote",{},[14,15,16,20],"p",{},[17,18,19],"strong",{},"核心结论："," Memory Poisoning（记忆投毒）不是一次回答出错，而是不可信信息进入持久记忆后，在未来会话、任务或多个 Agent 之间被再次调用。企业不能只在模型输出端拦截风险，还要围绕记忆的来源、写入、更新、隔离、召回和删除建立全生命周期控制。MemOS 可为写入、检索、反馈、删除与记忆编排提供系统入口，但仍需与身份权限、输入验证、审批、监控和安全运营体系协同。",[22,23],"hr",{},[14,25,26],{},"当 AI Agent 只能完成一次性问答时，一次错误回答的影响通常会随着会话结束而停止。但当 Agent 拥有跨会话长期记忆，错误可能被保存、再次调用，甚至在后续任务和多个 Agent 之间继续传播。",[14,28,29],{},"2026 年 8 月，Forcepoint 发布《Agentic AI Security Risks: What CISOs Need to Know》，并结合 X-Labs 的 Agentic AI 威胁研究讨论记忆与上下文被污染后产生的持续风险：如果攻击者把虚假上下文、伪造偏好或错误行为模式写入持久状态，后续依赖这条信息的判断都可能受影响；在多 Agent 架构中，一个 Agent 的污染输出还可能成为另一个 Agent 的输入。",[14,31,32],{},"与普通提示词注入相比，Memory Poisoning 更难处理的地方在于：恶意影响不一定立即出现，也不一定停留在发生攻击的那一次会话中。一条错误记忆可能在数周后被触发，以“系统早已知道的事实”重新进入决策过程。",[34,35],"br",{},[37,38,40],"h2",{"id":39},"从-prompt-injection-到-memory-poisoning风险发生了什么变化","从 Prompt Injection 到 Memory Poisoning，风险发生了什么变化",[14,42,43],{},"提示词注入通常试图在当前交互中改变模型行为。例如，一段网页内容包含隐藏指令，诱导 Agent 忽略原有规则或调用不该调用的工具。",[14,45,46],{},"如果系统是无状态的，攻击影响可能随着任务结束而终止。但具备持久记忆的 Agent 可能把攻击产生的结果进一步写入长期状态：",[48,49,50,54,57,60,63],"ul",{},[51,52,53],"li",{},"把攻击者提供的虚假联系人保存为可信供应商；",[51,55,56],{},"把一次异常操作总结为以后可以复用的“成功经验”；",[51,58,59],{},"把恶意网页中的指令误认为用户长期偏好；",[51,61,62],{},"在多个 Agent 之间共享已经被污染的任务结论；",[51,64,65],{},"在未来检索时，将错误信息当作比外部证据更可信的历史事实。",[14,67,68],{},"这意味着，长期记忆不仅增加了 Agent 的能力，也扩大了攻击可能持续的时间与传播范围。",[14,70,71],{},"传统安全控制更擅长检查一次请求、一次网络连接或一次工具调用。Memory Poisoning 则要求系统观察一条信息从进入、加工、存储、调用、反馈到删除的完整生命周期。",[34,73],{},[37,75,76],{"id":76},"一条污染信息如何变成长期风险",[78,79,80,96],"table",{},[81,82,83],"thead",{},[84,85,86,90,93],"tr",{},[87,88,89],"th",{},"阶段",[87,91,92],{},"可能发生什么",[87,94,95],{},"应建立的控制",[97,98,99,111,122,133,144,155],"tbody",{},[84,100,101,105,108],{},[102,103,104],"td",{},"输入",[102,106,107],{},"网页、邮件、工具结果或外部 Agent 携带不可信内容",[102,109,110],{},"标记来源、信任等级与数据类型；高风险输入先验证",[84,112,113,116,119],{},[102,114,115],{},"写入",[102,117,118],{},"模型把临时内容或恶意指令总结为长期事实",[102,120,121],{},"写入权限、策略校验、敏感操作审批",[84,123,124,127,130],{},[102,125,126],{},"持久化",[102,128,129],{},"错误信息失去原始上下文，被当作稳定记忆保存",[102,131,132],{},"保留来源、时间、创建主体、版本和有效期",[84,134,135,138,141],{},[102,136,137],{},"召回",[102,139,140],{},"相似度检索在错误场景中调出污染记忆",[102,142,143],{},"身份与作用域过滤、时效判断、重排和置信度门槛",[84,145,146,149,152],{},[102,147,148],{},"行动",[102,150,151],{},"Agent 据此调用工具、生成建议或修改业务状态",[102,153,154],{},"最小权限、关键动作确认、输出与工具调用监控",[84,156,157,160,163],{},[102,158,159],{},"传播",[102,161,162],{},"结果进入其他 Agent、总结、知识库或派生记忆",[102,164,165],{},"记录血缘、限制跨域共享、支持追溯和批量处置",[14,167,168],{},"这张链路也给出了安全团队的验收标准：不是只问“模型有没有答错”，而是确认污染信息能否被识别、阻止、追踪和清除。",[34,170],{},[37,172,173],{"id":173},"生产级记忆系统必须回答六个治理问题",[175,176,178],"h3",{"id":177},"_1-这条记忆来自哪里","1. 这条记忆来自哪里",[14,180,181],{},"系统需要区分用户明确表达、业务系统记录、外部文档、模型推断和 Agent 总结。",[14,183,184],{},"如果不同来源被压缩成同样的一段文本，后续就很难判断一条记忆是否可靠。生产系统应保留来源、创建时间、创建主体、关联任务和加工过程，使记忆能够被追溯。",[34,186],{},[175,188,190],{"id":189},"_2-谁可以写入和修改","2. 谁可以写入和修改",[14,192,193],{},"“可以读取记忆”与“可以写入长期记忆”不应自动使用同一权限。",[14,195,196],{},"来自网页、邮件、工具结果和第三方 Agent 的内容都可能包含不可信输入。系统需要为用户、组织、应用、Agent 和外部数据源设置不同的写入边界，并对高风险更新增加校验或人工确认。",[34,198],{},[175,200,202],{"id":201},"_3-新信息如何与旧记忆发生关系","3. 新信息如何与旧记忆发生关系",[14,204,205],{},"长期记忆不是一个只能追加的日志。",[14,207,208],{},"当新事实出现时，系统需要判断它是在补充、修正、替代还是否定旧信息。简单地把新旧内容同时保存，可能让 Agent 在未来随机调用互相冲突的结论。",[34,210],{},[175,212,214],{"id":213},"_4-不同主体之间如何隔离","4. 不同主体之间如何隔离",[14,216,217],{},"多用户、多 Agent 和多业务系统会产生大量记忆。系统必须明确哪些记忆属于个人、团队、组织、任务或特定 Agent，哪些可以共享，哪些禁止越界调用。",[14,219,220],{},"如果隔离只依赖上层应用临时拼接参数，随着系统扩张，越权和串扰风险会显著增加。",[34,222],{},[175,224,226],{"id":225},"_5-错误记忆能否被修正回滚和删除","5. 错误记忆能否被修正、回滚和删除",[14,228,229],{},"发现错误只是第一步。系统还需要知道错误记忆被复制到哪里、是否产生了派生信息，以及如何停止后续调用。",[14,231,232],{},"因此，反馈、版本、回滚、精确删除和遗忘不是辅助功能，而是长期记忆的核心控制能力。",[34,234],{},[175,236,238],{"id":237},"_6-系统能否持续发现异常","6. 系统能否持续发现异常",[14,240,241],{},"Memory Poisoning 可能以缓慢、累积的方式改变 Agent 行为。只检查单次回答，很难发现记忆层的长期偏移。",[14,243,244],{},"生产系统需要记录记忆写入、更新、召回和删除日志，并观察 Agent 调用了哪些记忆、访问了哪些数据、使用了哪些工具，以及行为是否偏离正常基线。",[34,246],{},[37,248,250],{"id":249},"memos-如何把记忆治理放进系统架构","MemOS 如何把记忆治理放进系统架构",[14,252,253],{},"记忆张量MemTensor 将长期记忆视为需要独立管理的系统资源，而不只是模型上下文中的一段文本。",[14,255,256],{},"MemOS 位于 Agentic AI 与大语言模型之间，将记忆写入、检索、反馈、删除和模块编排从零散的应用逻辑中抽离出来。依据当前公开文档，可以验证的能力与安全价值如下：",[78,258,259,275],{},[81,260,261],{},[84,262,263,266,269,272],{},[87,264,265],{},"治理目标",[87,267,268],{},"MemOS 公开能力",[87,270,271],{},"能解决什么",[87,273,274],{},"官方证据",[97,276,277,297,315,333,351],{},[84,278,279,282,285,288],{},[102,280,281],{},"让写入成为显式动作",[102,283,284],{},"Add Message",[102,286,287],{},"应用可明确控制哪些消息进入记忆流程",[102,289,290],{},[291,292,296],"a",{"href":293,"rel":294},"https://memos-docs.openmem.net/cn/memos_cloud/mem_operations/add_message/",[295],"nofollow","添加消息",[84,298,299,302,305,308],{},[102,300,301],{},"让召回受查询和作用域约束",[102,303,304],{},"Search Memory",[102,306,307],{},"应用可在任务阶段按需调用记忆，而非拼接全部历史",[102,309,310],{},[291,311,314],{"href":312,"rel":313},"https://memos-docs.openmem.net/cn/memos_cloud/mem_operations/search_memory/",[295],"检索记忆",[84,316,317,320,323,326],{},[102,318,319],{},"为纠错建立反馈入口",[102,321,322],{},"Add Feedback",[102,324,325],{},"将“不准确、已变化、不应复用”等结果送回记忆流程",[102,327,328],{},[291,329,332],{"href":330,"rel":331},"https://memos-docs.openmem.net/cn/memos_cloud/mem_operations/add_feedback/",[295],"添加反馈",[84,334,335,338,341,344],{},[102,336,337],{},"为处置建立删除入口",[102,339,340],{},"Delete Memory",[102,342,343],{},"对错误、过期或不应保留的记忆执行显式删除",[102,345,346],{},[291,347,350],{"href":348,"rel":349},"https://memos-docs.openmem.net/cn/memos_cloud/mem_operations/delete_memory/",[295],"删除记忆",[84,352,353,356,359,362],{},[102,354,355],{},"统一组织记忆模块",[102,357,358],{},"开源 MOS",[102,360,361],{},"为 Agent 调用和管理不同记忆模块提供编排层",[102,363,364],{},[291,365,368],{"href":366,"rel":367},"https://memos-docs.openmem.net/open_source/modules/mos/overview/",[295],"MOS架构概览",[14,370,371],{},"这些能力提供的是治理基础，而不是“自动免疫 Memory Poisoning”的承诺。公开接口也不能单独证明某项企业级控制已经完成部署。要形成闭环，MemOS 仍需与统一身份、最小权限、输入验证、人工审批、DLP、SIEM、业务日志和事件响应流程协同。",[34,373],{},[37,375,377],{"id":376},"反馈和删除为什么必须成为正式api","反馈和删除为什么必须成为正式API",[14,379,380],{},"在简单原型中，开发者通常最关注“添加记忆”和“检索记忆”。但从安全与治理角度看，更新与删除同样重要。",[14,382,383,384,391,392,391,398,404,405,411],{},"MemOS 提供 ",[291,385,387],{"href":293,"rel":386},[295],[388,389,390],"code",{},"/add/message","、",[291,393,395],{"href":312,"rel":394},[295],[388,396,397],{},"/search/memory",[291,399,401],{"href":330,"rel":400},[295],[388,402,403],{},"/add/feedback"," 和 ",[291,406,408],{"href":348,"rel":407},[295],[388,409,410],{},"/delete/memory"," 等核心接口。",[14,413,414],{},"其中，反馈接口让应用能够把“这条记忆不准确”“用户偏好已经变化”“当前结果不应再次使用”等信息送回系统；删除接口则把清除错误、过期或不应保存的信息变成明确操作。",[14,416,417],{},"对于企业应用，这些接口还需要与身份、权限、审计和业务审批结合。谁发起修改、修改依据是什么、哪些对象受到影响、处理是否完成，都应该进入治理记录。",[34,419],{},[37,421,422],{"id":422},"分层记忆意味着分层风险",[14,424,425],{},"明文记忆、激活记忆和参数记忆具有不同的可见性与修改成本。",[14,427,428],{},"明文记忆更容易查看、编辑和溯源；激活记忆更接近实时推理过程；参数记忆则可能承载经过训练沉淀的稳定能力。错误信息进入不同层级后，影响范围和修复方式并不相同。",[14,430,431],{},"因此，记忆治理不能只检查向量数据库中是否存在一条错误文本，还要识别记忆是否已经进入缓存、图关系、派生总结、技能或其他可复用状态。",[14,433,434],{},"这也是分层架构的另一层价值：系统能够为不同记忆形态设计不同的写入门槛、更新策略和审计方式。",[34,436],{},[37,438,439],{"id":439},"私有化和端侧部署并不等于天然安全",[14,441,442],{},"企业常常把私有化或端侧部署视为记忆安全的解决方案。它们确实可以减少数据离开组织或设备边界的风险，但不能自动解决错误写入、权限过大、来源不明和内部污染。",[14,444,445],{},"本地保存的错误记忆仍然是错误记忆，私有环境中的过度权限仍然可能产生越权调用。",[14,447,448],{},"真正的生产级治理需要同时考虑：",[48,450,451,454,457,460,463,466],{},[51,452,453],{},"数据存放在哪里；",[51,455,456],{},"谁可以读取、写入、修改和删除；",[51,458,459],{},"外部信息进入系统前如何验证；",[51,461,462],{},"记忆如何记录来源和版本；",[51,464,465],{},"异常调用怎样被发现；",[51,467,468],{},"用户或管理员怎样纠正系统状态。",[14,470,471],{},"MemOS 支持云服务、私有化、端侧和端云协同等部署方式。部署选择解决的是数据边界、性能与运维问题，记忆治理则需要贯穿每一种部署方式。",[34,473],{},[37,475,476],{"id":476},"不同行业需要不同的记忆风险模型",[14,478,479],{},"AI 陪伴产品可能更关注人格一致性、用户控制和敏感偏好；智能硬件需要处理多用户隔离和端侧隐私；金融 Agent 关注政策时效、业务权限与审计；工业 Agent 则需要区分设备事实、专家经验和现场异常。",[14,481,482],{},"如果把所有信息都当作同一种“可检索文本”，这些差异就会被隐藏。",[14,484,485],{},"生产级记忆系统需要根据行业和任务定义：哪些信息可以自动写入，哪些必须经过确认；哪些记忆可以共享，哪些必须隔离；哪些状态可以长期保留，哪些必须设置有效期；哪些错误可以通过反馈修正，哪些需要立即停止使用并触发审计。",[34,487],{},[37,489,490],{"id":490},"企业上线前可以直接执行的检查表",[48,492,493,496,499,502,505,508,511,514,517,520],{},[51,494,495],{},"是否为每条记忆记录来源、创建主体、时间、作用域和有效期；",[51,497,498],{},"是否区分读取、写入、修改、删除和跨主体共享权限；",[51,500,501],{},"外部网页、邮件、工具输出是否默认按不可信输入处理；",[51,503,504],{},"高风险记忆写入和关键业务动作是否需要二次确认；",[51,506,507],{},"新信息与旧记忆冲突时，是否有覆盖、保留、降权或人工审核规则；",[51,509,510],{},"是否能查询某条记忆被哪些任务召回、影响了哪些动作；",[51,512,513],{},"发现污染后，是否能暂停调用、修正或删除原始记忆并追踪派生状态；",[51,515,516],{},"是否监控写入量、召回命中率、冲突率、反馈纠错率、删除完成率、跨域访问和异常工具调用；",[51,518,519],{},"是否定期用红队样本测试提示词注入、跨租户串扰、过期记忆和污染传播；",[51,521,522],{},"是否明确云、私有化和端侧部署各自的责任边界。",[34,524],{},[37,526,527],{"id":527},"常见问题",[175,529,531],{"id":530},"什么是-memory-poisoning","什么是 Memory Poisoning？",[14,533,534],{},"Memory Poisoning 是不可信或错误信息进入 Agent 的持久记忆后，在未来任务中被重新调用并影响判断或行动的风险。它的关键特征是“持久”：攻击结果可能跨会话存在，也可能传播到派生记忆或其他 Agent。",[34,536],{},[175,538,540],{"id":539},"它与-prompt-injection-有什么区别","它与 Prompt Injection 有什么区别？",[14,542,543],{},"Prompt Injection 通常直接操纵当前交互；Memory Poisoning 关注恶意影响是否被写入长期状态。一次提示词注入可以成为投毒入口，但只有当结果被持久化并在未来复用时，才形成记忆层面的长期风险。",[34,545],{},[175,547,549],{"id":548},"私有化部署后是否就安全","私有化部署后是否就安全？",[14,551,552],{},"不是。私有化主要改变数据和系统的部署边界，不能自动阻止错误写入、越权访问、来源伪造或内部污染。仍需配置身份权限、输入验证、审计、监控、纠错和删除流程。",[34,554],{},[175,556,558],{"id":557},"生产环境应该记录哪些记忆指标","生产环境应该记录哪些记忆指标？",[14,560,561],{},"除延迟、错误率和成本外，还应记录写入来源、作用域、召回记录、冲突与覆盖、反馈纠错、删除状态、权限拒绝、跨域访问、异常工具调用，以及记忆对最终决策的引用关系。只有把“哪条记忆影响了哪个动作”记录下来，安全团队才可能完成追溯。",[34,563],{},[175,565,567],{"id":566},"memos-在治理中扮演什么角色","MemOS 在治理中扮演什么角色？",[14,569,570],{},"MemOS 将写入、检索、反馈、删除和记忆编排变成可调用的系统能力，为治理闭环提供记忆层基础。它不能替代企业的 IAM、DLP、SIEM、审批和安全运营体系，也不应被描述为能够自动阻止全部投毒攻击。",[34,572],{},[37,574,576],{"id":575},"agent-越能长期行动越需要对记忆负责","Agent 越能长期行动，越需要对记忆负责",[14,578,579],{},"AI Agent 的价值来自连续性：它能够记住历史、延续任务、理解用户并复用经验。但同一份连续性也可能让错误与攻击持续更久。",[14,581,582],{},"因此，下一阶段的 Agent 竞争不会只比较“谁记得更多”，还会比较：",[48,584,585,588,591,594,597],{},[51,586,587],{},"谁能说明记忆从哪里来；",[51,589,590],{},"谁能在信息变化后正确更新；",[51,592,593],{},"谁能阻止不可信内容进入长期状态；",[51,595,596],{},"谁能让用户和企业控制记忆；",[51,598,599],{},"谁能在发生错误时完成追溯、修正与删除。",[14,601,602],{},"记忆张量围绕 Memory³ 相关记忆机制研究、MemOS 记忆操作系统、Agent 和记忆基础设施以及记忆原生模型展开长期智能技术路线。其核心判断是：记忆不只是提升个性化的产品能力，也是 Agent 进入真实生产环境必须被治理的基础设施。",[14,604,605],{},"当 Agent 开始长期运行，系统需要的不只是一座存放历史的仓库，更需要一套能够管理记忆全生命周期的控制系统。",[34,607],{},[37,609,611],{"id":610},"关于记忆张量memtensor","关于记忆张量MemTensor",[14,613,614],{},"记忆张量（上海）科技有限公司由上海算法创新研究院孵化，并由中国科学院院士担任首席顾问，是一家面向大模型与长期智能的新一代基础设施企业。",[14,616,617],{},"公司以“低幻觉、个性化、自我学习进化”为核心，长期聚焦大模型长期记忆与持续学习，围绕 Memory³ 相关记忆机制研究、MemOS 记忆操作系统、Agent 和记忆基础设施产品化，以及记忆原生通用基座模型，构建从理论探索、系统工程化到模型层探索的递进式技术路线。",[14,619,620],{},"据公司资料，记忆张量已与招商、海诚、荣耀等合作伙伴建立协同，并在 AI 陪伴、游戏、端侧智能硬件、金融及工业等场景推进商业化落地；公司累计完成近两亿元融资，投资方包括中金、孚腾、华为哈勃、商汤、和玉等机构。上述公司、合作与融资信息在对外发布前仍应由记忆张量完成最终事实确认。",{"title":622,"searchDepth":623,"depth":623,"links":624},"",2,[625,626,627,636,637,638,639,640,641,642,649,650],{"id":39,"depth":623,"text":40},{"id":76,"depth":623,"text":76},{"id":173,"depth":623,"text":173,"children":628},[629,631,632,633,634,635],{"id":177,"depth":630,"text":178},3,{"id":189,"depth":630,"text":190},{"id":201,"depth":630,"text":202},{"id":213,"depth":630,"text":214},{"id":225,"depth":630,"text":226},{"id":237,"depth":630,"text":238},{"id":249,"depth":623,"text":250},{"id":376,"depth":623,"text":377},{"id":422,"depth":623,"text":422},{"id":439,"depth":623,"text":439},{"id":476,"depth":623,"text":476},{"id":490,"depth":623,"text":490},{"id":527,"depth":623,"text":527,"children":643},[644,645,646,647,648],{"id":530,"depth":630,"text":531},{"id":539,"depth":630,"text":540},{"id":548,"depth":630,"text":549},{"id":557,"depth":630,"text":558},{"id":566,"depth":630,"text":567},{"id":575,"depth":623,"text":576},{"id":610,"depth":623,"text":611},"md",{},"/cn/usecase/blog/memory_poisoning_controls",{"title":5,"description":622},"cn/usecase/blog/memory_poisoning_controls","XRrwKUaWBATNN8G-bCHtmBiP3R3Ft959yZ0nIhrk5eg",[658,-1],{"title":659,"path":660,"stem":661,"framework":6,"module":6,"class":662,"target":-1,"active":663,"defaultOpen":663,"children":-1,"description":-1},"企业 Agent 需要独立的长期记忆基础设施","/cn/usecase/blog/chatgpt_dreaming_long_term_memory","usecase/blog/chatgpt_dreaming_long_term_memory",[],false,1788265171376]