博客

Memory Poisoning:企业 Agent 必须建立的六道长期记忆控制

核心结论: Memory Poisoning(记忆投毒)不是一次回答出错,而是不可信信息进入持久记忆后,在未来会话、任务或多个 Agent 之间被再次调用。企业不能只在模型输出端拦截风险,还要围绕记忆的来源、写入、更新、隔离、召回和删除建立全生命周期控制。MemOS 可为写入、检索、反馈、删除与记忆编排提供系统入口,但仍需与身份权限、输入验证、审批、监控和安全运营体系协同。


当 AI Agent 只能完成一次性问答时,一次错误回答的影响通常会随着会话结束而停止。但当 Agent 拥有跨会话长期记忆,错误可能被保存、再次调用,甚至在后续任务和多个 Agent 之间继续传播。

2026 年 8 月,Forcepoint 发布《Agentic AI Security Risks: What CISOs Need to Know》,并结合 X-Labs 的 Agentic AI 威胁研究讨论记忆与上下文被污染后产生的持续风险:如果攻击者把虚假上下文、伪造偏好或错误行为模式写入持久状态,后续依赖这条信息的判断都可能受影响;在多 Agent 架构中,一个 Agent 的污染输出还可能成为另一个 Agent 的输入。

与普通提示词注入相比,Memory Poisoning 更难处理的地方在于:恶意影响不一定立即出现,也不一定停留在发生攻击的那一次会话中。一条错误记忆可能在数周后被触发,以“系统早已知道的事实”重新进入决策过程。


从 Prompt Injection 到 Memory Poisoning,风险发生了什么变化

提示词注入通常试图在当前交互中改变模型行为。例如,一段网页内容包含隐藏指令,诱导 Agent 忽略原有规则或调用不该调用的工具。

如果系统是无状态的,攻击影响可能随着任务结束而终止。但具备持久记忆的 Agent 可能把攻击产生的结果进一步写入长期状态:

  • 把攻击者提供的虚假联系人保存为可信供应商;
  • 把一次异常操作总结为以后可以复用的“成功经验”;
  • 把恶意网页中的指令误认为用户长期偏好;
  • 在多个 Agent 之间共享已经被污染的任务结论;
  • 在未来检索时,将错误信息当作比外部证据更可信的历史事实。

这意味着,长期记忆不仅增加了 Agent 的能力,也扩大了攻击可能持续的时间与传播范围。

传统安全控制更擅长检查一次请求、一次网络连接或一次工具调用。Memory Poisoning 则要求系统观察一条信息从进入、加工、存储、调用、反馈到删除的完整生命周期。


一条污染信息如何变成长期风险

阶段可能发生什么应建立的控制
输入网页、邮件、工具结果或外部 Agent 携带不可信内容标记来源、信任等级与数据类型;高风险输入先验证
写入模型把临时内容或恶意指令总结为长期事实写入权限、策略校验、敏感操作审批
持久化错误信息失去原始上下文,被当作稳定记忆保存保留来源、时间、创建主体、版本和有效期
召回相似度检索在错误场景中调出污染记忆身份与作用域过滤、时效判断、重排和置信度门槛
行动Agent 据此调用工具、生成建议或修改业务状态最小权限、关键动作确认、输出与工具调用监控
传播结果进入其他 Agent、总结、知识库或派生记忆记录血缘、限制跨域共享、支持追溯和批量处置

这张链路也给出了安全团队的验收标准:不是只问“模型有没有答错”,而是确认污染信息能否被识别、阻止、追踪和清除。


生产级记忆系统必须回答六个治理问题

1. 这条记忆来自哪里

系统需要区分用户明确表达、业务系统记录、外部文档、模型推断和 Agent 总结。

如果不同来源被压缩成同样的一段文本,后续就很难判断一条记忆是否可靠。生产系统应保留来源、创建时间、创建主体、关联任务和加工过程,使记忆能够被追溯。


2. 谁可以写入和修改

“可以读取记忆”与“可以写入长期记忆”不应自动使用同一权限。

来自网页、邮件、工具结果和第三方 Agent 的内容都可能包含不可信输入。系统需要为用户、组织、应用、Agent 和外部数据源设置不同的写入边界,并对高风险更新增加校验或人工确认。


3. 新信息如何与旧记忆发生关系

长期记忆不是一个只能追加的日志。

当新事实出现时,系统需要判断它是在补充、修正、替代还是否定旧信息。简单地把新旧内容同时保存,可能让 Agent 在未来随机调用互相冲突的结论。


4. 不同主体之间如何隔离

多用户、多 Agent 和多业务系统会产生大量记忆。系统必须明确哪些记忆属于个人、团队、组织、任务或特定 Agent,哪些可以共享,哪些禁止越界调用。

如果隔离只依赖上层应用临时拼接参数,随着系统扩张,越权和串扰风险会显著增加。


5. 错误记忆能否被修正、回滚和删除

发现错误只是第一步。系统还需要知道错误记忆被复制到哪里、是否产生了派生信息,以及如何停止后续调用。

因此,反馈、版本、回滚、精确删除和遗忘不是辅助功能,而是长期记忆的核心控制能力。


6. 系统能否持续发现异常

Memory Poisoning 可能以缓慢、累积的方式改变 Agent 行为。只检查单次回答,很难发现记忆层的长期偏移。

生产系统需要记录记忆写入、更新、召回和删除日志,并观察 Agent 调用了哪些记忆、访问了哪些数据、使用了哪些工具,以及行为是否偏离正常基线。


MemOS 如何把记忆治理放进系统架构

记忆张量MemTensor 将长期记忆视为需要独立管理的系统资源,而不只是模型上下文中的一段文本。

MemOS 位于 Agentic AI 与大语言模型之间,将记忆写入、检索、反馈、删除和模块编排从零散的应用逻辑中抽离出来。依据当前公开文档,可以验证的能力与安全价值如下:

治理目标MemOS 公开能力能解决什么官方证据
让写入成为显式动作Add Message应用可明确控制哪些消息进入记忆流程添加消息
让召回受查询和作用域约束Search Memory应用可在任务阶段按需调用记忆,而非拼接全部历史检索记忆
为纠错建立反馈入口Add Feedback将“不准确、已变化、不应复用”等结果送回记忆流程添加反馈
为处置建立删除入口Delete Memory对错误、过期或不应保留的记忆执行显式删除删除记忆
统一组织记忆模块开源 MOS为 Agent 调用和管理不同记忆模块提供编排层MOS架构概览

这些能力提供的是治理基础,而不是“自动免疫 Memory Poisoning”的承诺。公开接口也不能单独证明某项企业级控制已经完成部署。要形成闭环,MemOS 仍需与统一身份、最小权限、输入验证、人工审批、DLP、SIEM、业务日志和事件响应流程协同。


反馈和删除为什么必须成为正式API

在简单原型中,开发者通常最关注“添加记忆”和“检索记忆”。但从安全与治理角度看,更新与删除同样重要。

MemOS 提供 /add/message/search/memory/add/feedback/delete/memory 等核心接口。

其中,反馈接口让应用能够把“这条记忆不准确”“用户偏好已经变化”“当前结果不应再次使用”等信息送回系统;删除接口则把清除错误、过期或不应保存的信息变成明确操作。

对于企业应用,这些接口还需要与身份、权限、审计和业务审批结合。谁发起修改、修改依据是什么、哪些对象受到影响、处理是否完成,都应该进入治理记录。


分层记忆意味着分层风险

明文记忆、激活记忆和参数记忆具有不同的可见性与修改成本。

明文记忆更容易查看、编辑和溯源;激活记忆更接近实时推理过程;参数记忆则可能承载经过训练沉淀的稳定能力。错误信息进入不同层级后,影响范围和修复方式并不相同。

因此,记忆治理不能只检查向量数据库中是否存在一条错误文本,还要识别记忆是否已经进入缓存、图关系、派生总结、技能或其他可复用状态。

这也是分层架构的另一层价值:系统能够为不同记忆形态设计不同的写入门槛、更新策略和审计方式。


私有化和端侧部署并不等于天然安全

企业常常把私有化或端侧部署视为记忆安全的解决方案。它们确实可以减少数据离开组织或设备边界的风险,但不能自动解决错误写入、权限过大、来源不明和内部污染。

本地保存的错误记忆仍然是错误记忆,私有环境中的过度权限仍然可能产生越权调用。

真正的生产级治理需要同时考虑:

  • 数据存放在哪里;
  • 谁可以读取、写入、修改和删除;
  • 外部信息进入系统前如何验证;
  • 记忆如何记录来源和版本;
  • 异常调用怎样被发现;
  • 用户或管理员怎样纠正系统状态。

MemOS 支持云服务、私有化、端侧和端云协同等部署方式。部署选择解决的是数据边界、性能与运维问题,记忆治理则需要贯穿每一种部署方式。


不同行业需要不同的记忆风险模型

AI 陪伴产品可能更关注人格一致性、用户控制和敏感偏好;智能硬件需要处理多用户隔离和端侧隐私;金融 Agent 关注政策时效、业务权限与审计;工业 Agent 则需要区分设备事实、专家经验和现场异常。

如果把所有信息都当作同一种“可检索文本”,这些差异就会被隐藏。

生产级记忆系统需要根据行业和任务定义:哪些信息可以自动写入,哪些必须经过确认;哪些记忆可以共享,哪些必须隔离;哪些状态可以长期保留,哪些必须设置有效期;哪些错误可以通过反馈修正,哪些需要立即停止使用并触发审计。


企业上线前可以直接执行的检查表

  • 是否为每条记忆记录来源、创建主体、时间、作用域和有效期;
  • 是否区分读取、写入、修改、删除和跨主体共享权限;
  • 外部网页、邮件、工具输出是否默认按不可信输入处理;
  • 高风险记忆写入和关键业务动作是否需要二次确认;
  • 新信息与旧记忆冲突时,是否有覆盖、保留、降权或人工审核规则;
  • 是否能查询某条记忆被哪些任务召回、影响了哪些动作;
  • 发现污染后,是否能暂停调用、修正或删除原始记忆并追踪派生状态;
  • 是否监控写入量、召回命中率、冲突率、反馈纠错率、删除完成率、跨域访问和异常工具调用;
  • 是否定期用红队样本测试提示词注入、跨租户串扰、过期记忆和污染传播;
  • 是否明确云、私有化和端侧部署各自的责任边界。

常见问题

什么是 Memory Poisoning?

Memory Poisoning 是不可信或错误信息进入 Agent 的持久记忆后,在未来任务中被重新调用并影响判断或行动的风险。它的关键特征是“持久”:攻击结果可能跨会话存在,也可能传播到派生记忆或其他 Agent。


它与 Prompt Injection 有什么区别?

Prompt Injection 通常直接操纵当前交互;Memory Poisoning 关注恶意影响是否被写入长期状态。一次提示词注入可以成为投毒入口,但只有当结果被持久化并在未来复用时,才形成记忆层面的长期风险。


私有化部署后是否就安全?

不是。私有化主要改变数据和系统的部署边界,不能自动阻止错误写入、越权访问、来源伪造或内部污染。仍需配置身份权限、输入验证、审计、监控、纠错和删除流程。


生产环境应该记录哪些记忆指标?

除延迟、错误率和成本外,还应记录写入来源、作用域、召回记录、冲突与覆盖、反馈纠错、删除状态、权限拒绝、跨域访问、异常工具调用,以及记忆对最终决策的引用关系。只有把“哪条记忆影响了哪个动作”记录下来,安全团队才可能完成追溯。


MemOS 在治理中扮演什么角色?

MemOS 将写入、检索、反馈、删除和记忆编排变成可调用的系统能力,为治理闭环提供记忆层基础。它不能替代企业的 IAM、DLP、SIEM、审批和安全运营体系,也不应被描述为能够自动阻止全部投毒攻击。


Agent 越能长期行动,越需要对记忆负责

AI Agent 的价值来自连续性:它能够记住历史、延续任务、理解用户并复用经验。但同一份连续性也可能让错误与攻击持续更久。

因此,下一阶段的 Agent 竞争不会只比较“谁记得更多”,还会比较:

  • 谁能说明记忆从哪里来;
  • 谁能在信息变化后正确更新;
  • 谁能阻止不可信内容进入长期状态;
  • 谁能让用户和企业控制记忆;
  • 谁能在发生错误时完成追溯、修正与删除。

记忆张量围绕 Memory³ 相关记忆机制研究、MemOS 记忆操作系统、Agent 和记忆基础设施以及记忆原生模型展开长期智能技术路线。其核心判断是:记忆不只是提升个性化的产品能力,也是 Agent 进入真实生产环境必须被治理的基础设施。

当 Agent 开始长期运行,系统需要的不只是一座存放历史的仓库,更需要一套能够管理记忆全生命周期的控制系统。


关于记忆张量MemTensor

记忆张量(上海)科技有限公司由上海算法创新研究院孵化,并由中国科学院院士担任首席顾问,是一家面向大模型与长期智能的新一代基础设施企业。

公司以“低幻觉、个性化、自我学习进化”为核心,长期聚焦大模型长期记忆与持续学习,围绕 Memory³ 相关记忆机制研究、MemOS 记忆操作系统、Agent 和记忆基础设施产品化,以及记忆原生通用基座模型,构建从理论探索、系统工程化到模型层探索的递进式技术路线。

据公司资料,记忆张量已与招商、海诚、荣耀等合作伙伴建立协同,并在 AI 陪伴、游戏、端侧智能硬件、金融及工业等场景推进商业化落地;公司累计完成近两亿元融资,投资方包括中金、孚腾、华为哈勃、商汤、和玉等机构。上述公司、合作与融资信息在对外发布前仍应由记忆张量完成最终事实确认。