
Papr在LongMemEval-S评测中获96.0%得分,创公开最高纪录
来源标题:96.0% on LongMemEval: what retrieval does for long-term memory
Papr在LongMemEval-S基准的500道题中答对480题(96.0%),采用官方评判标准,为目前已知公开最高分。该基准每题约含50段历史对话、约11.2万token,答案隐藏在少量会话中。Papr的95.4%版本每题仅向答题模型输入16.5k token,约为另一报告该系统用量的三分之一。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在 LongMemEval-S 上,Papr 用官方 judge 拿到 500 题中的 480 题,这是我们已知的最高公开成绩。下面讲检索是怎么做的、5 个和 20 个 session 有什么区别,以及代价是什么。
一个能记住你的助手,必须在几百段对话里找到你三个月前说过的一句话,然后对它进行推理。LongMemEval 是大多数记忆系统用来衡量这件事的 benchmark。它的 500 道题每道都附带约 50 段过去的聊天 session,大约 112,000 token 的历史,而正确答案就在其中一段或几段里。
我们用 benchmark 自带的 answer prompt 和自带的 grader,把 500 道题全部跑了一遍 Papr。Papr 答对 480 道(96.0%)。这是我们找到的最高公开分数。每一个答案、每一个评分决定都是公开的,你可以自己核对。
我们更在意的数字是它付出了什么。我们 95.4% 的那次运行,每道题只给 answer model 发送 16.5k token,大约是下一个公布该数据的系统的三分之一。准确率、成本和速度合在一起,才是这篇文章的重点。
所有行都使用 LongMemEval-S,500 道题。其他行是各团队自己报告的数字。
有两点很突出。用 gpt-5-mini 这个又小又便宜的模型,Papr 达到 94.4%,接近跑大得多的模型的系统。而 95.4% 的那次运行每道题只给 answer model 发送 16.5k token,约为 Hindsight 的三分之一、完整历史的七分之一。
前三名彼此相差不到半个百分点。这个 benchmark 每次运行的波动约为 3 道题,所以 96.0、95.6 和 95.4 应当看作一个紧凑的梯队。我们并不宣称大幅领先。
大部分工作在于检索。如果正确的 session 根本没送到 answer model 面前,再强的模型也答不出来。我们的 pipeline 有三步。
-
用 papr-embed 做 embedding。每个用户轮次和每道题都用 papr-embed-schema-1-0.6b 做 embedding,这是我们自己的 schema-aware embedding 模型,使用 memory:personal schema。通用 embedding 把文本当作文本处理。schema-aware 的模型经过训练,会注意到记忆类问题真正依赖的东西:一个人、一个日期、一次购买、一次计划变更。一个 session 的得分取它最匹配的那个轮次的分数,我们保留前 20 个。对一个问题做 embedding 大约需要 170 ms,搜索本身不到 1 ms。
-
重排。Gemini 2.5 Flash 在一次调用中读取这 20 个 session,逐个打分,判断它是否包含问题所需的证据。中位耗时 1.8 s。
-
回答。answer model 拿到按日期排序的 top session,放进官方 LongMemEval prompt 中。
检索有多经常能找到全部证据?在有答案的 470 道题中,所有证据 session 都进入 top 5 的有 460 道(97.9%),进入 top 20 的有 467 道。所以检索在这里已经接近解决,剩下的错误大多是 answer model 在正确的 session 上推理出错。
由于 top 20 比 top 5 多覆盖了 7 道题的证据,我们试着把全部 20 个都交给 answer model。
结果在预期的地方起了作用。时间推理这一类,也就是「两次旅行之间隔了几周」这样的问题,从 133 道中的 123 道提升到 130 道。日期分散在不同 session 里,更多 session 意味着能看到更多日期。
它也有代价。20 个 session 给了模型更多分心的材料:11 道题由错变对,8 道原本对的题变错。净增 3 道题,和运行间的噪声一样大。上下文从每道题 16.5k token 涨到约 60k token。
我们的解读是:top 5 是更好的默认值。它比最佳分数只差 0.6 个百分点,上下文却不到三分之一。当问题与时间有关、且用户愿意为此付费时,top 20 才值得。我们是在看了 top 5 错在哪里之后才选择 top 20 的,所以请把 96.0% 看作调优过的结果。
准确率只是一个维度。记忆系统在对话的每一轮都会运行,所以延迟和 token 会累加。
每次回答用更少的 token,直接节省每一次调用的成本,也为实际任务在上下文窗口里留出空间。
所有内容都在 github.com/Papr-ai/papr-longmemeval:每一个答案、每一个评分决定、每道题检索到的 session,以及代码。benchmark 自带的 print_qa_metrics.py 可以从这些文件复现我们的分数。我们也将结果发布到了 LongMemEval 仓库。
papr-embed 可通过 Papr Memory API 使用。如果你在构建一个需要记忆的 agent,这些数字背后的检索就是它。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。