O-MEM

发表于 2026-03-31 分类于 CS ， NLP ， Agent 本文字数： 3.9k 阅读时长 ≈ 7 分钟

简单的Chunk-Retrieve记忆系统

Agent在长时间，跨对话的交互中，就需要使用记忆系统来保存重要的历史信息，否则每次用户每次使用都相当于新认识一遍。

记忆系统最简单的做法就是把所有历史交互都切成chunk，然后入库。当来了新的交互，就从数据库中检索相似/相关的历史交互。这种方式主要有两个问题：

依赖交互内容的相似度/相关性，对于有逻辑联系的内容效果不佳
简单粗暴的检索会引入很多“相似”内容，一般提升召回量能提升效果，但是也会引入很多噪音，记忆系统的整体效率就不高。

O-MEM：Active User Profiling

O-MEM的思路：记忆系统不应只是历史交互的存储容器，而应是用户特征的持续构建者。

简单来说，O-MEM设计三个记忆系统的组件：

Persona Memory（人格记忆）：存储长期、抽象的用户知识，包括用户的稳定属性（如性格、偏好、身份特征）和关键事实事件（如职业变更、健康状况）。这是关于"用户是什么样的人"的总结性知识。
Working Memory（工作记忆）：存储与当前交互主题相关的所有历史交互。不同于生理学中短期工作记忆的概念，O-MEM中的Working Memory是主题关联的长期记忆库，用于提供当前话题的上下文背景。
Episodic Memory（情景记忆）：建立从显著线索词到具体交互情境的映射，类似于人类通过"关键词"触发完整回忆的能力。当用户提到"上次那个项目"时，Episodic Memory能通过"项目"这个线索快速定位到相关的完整对话记录。

信息提取

对于每次交互，首先用LLM提取当前交互的：

主题
当前交互揭示的用户属性
当前交互揭示的过往事件

比如用户的输入是：Attended an LGBT rally yesterday and received massive supports from the public. Transitioning has been a really difficult journey for me, and I am grateful for everyone's help in the past year.

那么提取的信息：

主题：LGBT Activity
属性：Transgender
事件：
- Attended an LGBT Rally Yesterday
- Underwent sex reassignment surgery

这里论文用的是GPT-4.1 和 GPT-4o-mini作为提取模型。

Persona Memory

Persona Memory又包含两类：Persona Attributes（属性）和Persona Facts（事实）。

两者都是以自然语言文本列表的形式存储。Attributes是用户稳定特征的抽象，Facts则是用户经历的具体事件记录：

Persona Attributes = ["素食主义者"、"软件工程师"、"性格内向", ...]
Persona Facts = ["2023年9月完成手术", "去年辞职创业", ...]

这两类信息都经过LLM的提炼，是高层次的结构化知识。

Persona Attributes的储存

用户输入提取出属性attr之后，会和现有的属性库通过相似度进行聚合，决定是更新现有数据库（update），新增属性（add），还是已有可忽略（ignore）。

比如有五条属性：

我喜欢周末打篮球
篮球是我最热爱的运动
每周六下午都打球
我是素食主义者
不吃肉类食物

计算相似度发现前三条相似，后两条相似，就聚合成两条结果：

用户是篮球爱好者，固定在周末进行该项运动
用户是严格的素食主义者

Persona Attributes的检索

检索的时候，直接把用户输入和属性库中的数据计算相似度。

比如query = 这周末有什么运动建议？

属性数据库有3条数据：

用户是篮球爱好者，固定在周末进行该项运动
用户是严格的素食主义者
用户对机器学习有深入研究

Persona Facts的储存

同属性类似，对于用户输入提取到的事件，基于和现有数据的关系，有三种操作：

update
add
ignore

只是少了一步，不进行聚合，因为事件都是独立的。

Persona Facts的检索

检索的时候和属性检索一样，通过相似度召回。

Working Memory

储存

Working Memory储存结构式一个map，key是topic，也就是输入的时候提取的主题，value是原始交互数据。

随着交互越来越多，每个value中储存的交互数据也越来越多。

检索

当一个新的用户输入进来的时候，就会从Working Memory检索内容。

具体来说，就是通过语义相似度，从Working Memory中找到所有和当前交互的话题相似的话题，然后获取对应的交互数据返回。

Episodic Memory

储存

Episodic Memory的数据储存是一个map。其中key是词，来自于用户输入的分词结果，而value则是原始的交互。

具体来说，用户的输入会被分词，每个词会作为key，然后去找Episodic Memory里对应的key，把原始交互数据加到value里，这是一个增量更新。

检索

要从Episodic Memory检索的时候，也是用关键词作为key，找到对应的原始交互。

关键点在于选择什么词来搜索。原文的方法是参考inverse document frequency的思路，从用户的输入里找到最关键的一次词用于搜索。

Reference

【1】O-MEM: OMNI MEMORY SYSTEM FOR PERSONALIZED, LONG HORIZON, SELF-EVOLVING AGENTS，https://openreview.net/pdf?id=K3bOz7oYec