OmniMemEval 2026 — 14款 Memory 产品横评
Codex 核验（2026-10-10）：本文数字是 MemTensor/OmniMemEval 作者基准快照，未独立复现；评分和 tokens 受模型、提示、上下文/任务范围影响，不能直接解释为通用准确率或费用。U2 LongMemEval 是跨会话 User Memory 的独立结果，不能引用 Agent Memory Top 3 代替；OpenClaw 平均提升 50.07−36.63=13.44 个百分点，Hermes 53.05−45.15=7.90 个百分点。
来源：小红书 @MemOS_满血版 | 2026-07-13 OmniMemEval GitHub: https://github.com/MemTensor/OmniMemEval MemOS: https://github.com/MemTensor/MemOS
评测框架
方法论： 14 款主流 Memory 方案 × 2 类 Agent 环境（OpenClaw + Hermes） × 10 个 Benchmark 统一模型、Prompt、检索参数、上下文长度、Judge 口径，确保可比性。
两维度：
- Agent Memory — 任务执行能力（检索、数学推理、软件工程、代码、知识工作）
- User Memory — 用户长期记忆（长对话记忆、跨会话能力、个性化与安全）
14 款方案： MemOS, Zep, Letta, Supermemory, Hindsight, EverOS, Memori, mem9, Cognee, Mem0 等
一、Agent Memory 结果
A1 相对 Baseline 提升
OpenClaw — 5/5 全面提升
| Benchmark | 提升(pp) | 提升(%) |
|---|---|---|
| GDPVal | +27.59pp | +80.0% |
| LiveCodeBench | +13.68pp | +26.7% |
| SWE-Bench | +11.54pp | +42.9% |
| OmniMath | +9.00pp | +17.3% |
| BrowseComp-Plus | +5.39pp | +29.2% |
Hermes — 5/5 全面提升
| Benchmark | 提升(pp) | 提升(%) |
|---|---|---|
| SWE-Bench | +15.38pp | +41.4% |
| LiveCodeBench | +11.11pp | +21.0% |
| OmniMath | +10.67pp | +17.2% |
| BrowseComp-Plus | +1.78pp | +9.4% |
| GDPVal | +0.57pp | +1.0% |
Top 3 单项第一
| 排名 | Agent·Benchmark | 成绩 | 说明 |
|---|---|---|---|
| 🥇 | Hermes · OmniMath | 72.67% | 5.92k Avg Chars，完成率与成本兼顾 |
| 🥇 | Hermes · SWE-Bench | 52.56% | 76.37 Turns，真实软件工程中历史上下文利用有效 |
| 🥇 | OpenClaw · GDPVal | 62.07% | 相对 Baseline 提升 80.0%，长流程交付收益显著 |
平均准确率
- OpenClaw: 50.07% (Baseline 36.63%)
- Hermes: 53.05% (Baseline 45.15%)
二、User Memory 结果
U1 LoCoMo：长对话记忆问答（14款）
| 排名 | 方案 | Overall ↑ | Context Token ↓ |
|---|---|---|---|
| 🥇 | MemOS | 88.83 | 5,400 |
| 🥈 | Cognee | 83.48 | 32,532 |
| 🥉 | EverOS | 82.75 | — |
| 4 | Hindsight | 81.89 | 24,683 |
| 5 | Mem0 | 77.66 | 17,395 |
MemOS 用 Cognee 约 1/6 的 Context Token，取得更高 Overall
U2 LongMemEval：跨会话能力（12款）
- 测试维度：单会话、时序、多会话、知识更新
- 数据应查 User Memory 的 LongMemEval 表；本文未摘录，不能用 Agent Memory Top 3 代替
U3 PersonaMem-v2：个性化与安全（12款）
- 测试维度：偏好、敏感信息、安全、遗忘请求 | 排名 | 方案 | Overall ↑ | Context Token ↓ | |:----:|------|:---------:|:--------------:| | 🥇 | MemOS | 40.58 | 1,908 | | 🥈 | Supermemory | 39.64 | 4,473 | | 🥉 | Hindsight | 37.98 | 15,926 | | 4 | Mem0 | 36.76 | — | | 5 | EverOS | 35.94 | — |
三、MemOS Cloud 最新版本
| 测试 | 总分 | 子项提升 |
|---|---|---|
| LoCoMo | 91.30 | Open-Domain 55.21→76.04, Temporal 74.77→89.72 |
| LongMemEval | 91.00 | SS-Asst 69.64→100.00, Multi-S 73.68→85.71 |
核心洞察
- 上下文效率 > 记忆容量 — MemOS 在 User Memory 维度全面领先，用对手 1/6~1/17 的 Token 拿到最高分，验证了”记得多不等于做得好”
- Agent Memory 分化明显 — Hermes 在 SWE-Bench/OmniMath 领先，OpenClaw 在 GDPVal 大幅领先（+80%），说明不同 Agent 架构对 Memory 的利用方式不同
- User Memory 赛道 MemOS 一骑绝尘 — LoCoMo（88.83）、PersonaMem-v2（40.58）双第一，且 Token 成本远低于竞品
- 与 Hermes 架构对比 — 我们自己的 multi-layer memory system 与 MemOS 思路一致：Write Gate 控制写入、避免上下文污染，就是解决”伪长期记忆”问题
关联
- multi-layer-memory-system — 我们自己的内存架构设计，与 MemOS “少 token 高效果”思路一致
- total-recall-write-gate-memory — 早期 TotalRecall + Write Gate 研究