KVCacheMemory: KV cache记忆（激活记忆）

KV Cache记忆使用案例

在MemOS中，KV Cache最适合存储语义稳定且经常复用的背景信息，例如：

• 常见问题（FAQs）或特定领域知识
• 先前的对话历史

这些稳定的明文记忆项由MemScheduler模块自动识别和管理。一旦被选中，它们就会被提前转换成KV格式的表示(KVCacheItem)。这个预计算步骤以可复用的格式存储记忆的激活状态（键值对张量），允许它们在推理期间注入到模型的注意力缓存中

一旦进行转换，这些KV记忆就可以跨查询复用，而不需要对原始内容重新编码。这减少了处理和存储大量文本的计算开销，使其成为需要快速响应时间和高吞吐量的应用程序的理想选择。

为什么是KV Cache记忆

将MemScheduler与KV Cache记忆集成可以实现显著的性能优化，特别是在LLM推理的预填充阶段。

无KV Cache记忆

• 每个新查询都被添加到完整的提示模板中，包括背景知识。
• 模型必须在整个序列上重新计算token嵌入和注意力——即使是未更改的记忆。

有KV Cache记忆

• 背景知识以键值对张量的形式缓存一次。
• 对于每个查询，只对新用户输入（查询token）进行编码。
• 之前缓存的KV被直接注入到注意力机制中。

好处

这种分离减少了预填充阶段的冗余计算，从而导致:

• 跳过背景知识的重复编码
• 更快的查询token和缓存记忆之间的注意力计算
• 降低首次token时间(Time To First Token, TTFT) 生成过程中的延迟

这种优化在以下方面特别有价值:

• 多回合聊天机器人交互
• 检索增强生成或上下文增强生成(RAG, CAG)
• 在固定文档或FAQ风格记忆上操作的助理

KV Cache记忆加速评估

为了验证基于KV的记忆注入对性能的影响，我们进行了一组在MemOS中模拟真实记忆复用的对照实验。

实验建立

在典型的使用中，MemScheduler模块持续跟踪交互模式，并将高频、稳定的明文记忆提升为KV格式。这些KV记忆作为激活缓存加载到GPU内存中，并在推理过程中重复使用。

评估比较两种记忆策略:

1. 基于提示的注入: 背景知识被作为原始文本添加
2. KV Cache注入: 记忆被直接注入到模型的注意力缓存

我们对这些策略进行了测试:

• 三种文本长度: 短文本, 中等长度文本和长文本
• 三种查询类型: 短查询, 中等查询和长查询

主要指标是首次token时间(TTFT)，这是响应式生成的关键延迟指标。

实验结果

下表显示了跨三个模型的结果(Qwen3-8B, Qwen3-32B, Qwen2.5-72B).KV Cache注入下的TTFT始终低于基于提示的注入，而两种策略的输出token保持一致.

基于 vLLM 的性能表现

MemOS 现在支持使用 vLLM 管理激活内存。为了评估KV Cache预存不同长度的前缀文本带来的影响，我们在一个配备 8 张 H800 80GB GPU（112 vCPU，1920 GiB 内存）的系统，以及一个配备 8张 RTX4090-24G-PCIe(112 vCPU，960 GiB 内存) 的系统上分别进行了性能测试。评估覆盖了当前两种核心模型：Qwen3-32B 和 Qwen2.5-72B。

基准测试在一系列记忆和上下文长度组合下运行，以模拟各种激活内存场景：

• 记忆文本长度（tokens）：500、1000、2000
• 上下文文本长度（tokens）：500、1000、2000、4000

下表总结了基准测试结果。

Qwen2.5-72B

• On 4090（2 Nodes 16 GPUs）

• On H800（4 GPUs）

Qwen3-32B

• On 4090（1 Nodes 8 GPUs）

• On H800（2 GPUs）

结果清楚地表明，集成 vLLM 的 KV 缓存重用功能为 MemOS 带来了革命性的性能提升。

KV Cache的记忆结构

通过KVCacheMemory实现基于KV的记忆复用，在保持相同输出的同时，大大减少了模型大小和查询类型之间的延迟。通过将可复用记忆从明文提示转移到预先计算的KV Cache，MemOS消除了冗余的上下文编码，并实现了更快的响应时间，特别是在实时的、记忆增强的LLM应用程序中。

每个缓存被存储为一个KVCacheItem:

API总结 (KVCacheMemory)

初始化

KVCacheMemory(config: KVCacheMemoryConfig)

核心方法

当调用dump(dir), 系统写到:

<dir>/<config.memory_filename>

该文件包含所有KV Cache的pickle字典，可以使用load(dir)重新加载。

如何使用

from memos.configs.memory import KVCacheMemoryConfig
from memos.memories.activation.kv import KVCacheMemory

config = KVCacheMemoryConfig(
    extractor_llm={
        "backend": "huggingface",
        "config": {"model_name_or_path": "Qwen/Qwen3-1.7B"}
    }
)
mem = KVCacheMemory(config)

# Extract and add a cache
cache_item = mem.extract("The capital of France is Paris.")
mem.add([cache_item])

# Retrieve and merge caches
merged_cache = mem.get_cache([cache_item.kv_cache_id])

# Save/load
mem.dump("tmp/act_mem")
mem.load("tmp/act_mem")

开发者注意事项

• 使用HuggingFace DynamicCache 高效的键值存储
• 基于pickle的序列化，用于快速加载/保存
• /tests中的集成测试涵盖了所有方法。