AI助手记忆能力测试：检索胜过完整历史记录，GPT-4o mini成功率达88.9％

一项比较让AI助手拥有“记忆”的4种方法的测试，刊登在数据科学媒体Towards Data Science上。在一项测试中，研究人员使用了一位虚构项目经理约4万token的历史记录和30项任务。GPT-4o mini的任务成功率在每次提供完整历史记录的方式下为58.3％，而在只检索并提供相关内容的方式下为88.9％。

“记得”与“会用”是两回事

这项测试以一项衡量AI记忆能力的新测试“DolphinBench”为出发点。完整内容可见这篇测试文章。

许多传统记忆测试会直接询问过去的事实，比如“萨姆喜欢去哪家咖啡店”。不过，DolphinBench的作者认为，问题本身就会暗示“答案记录在某处”，这是个问题。因此，这项测试会要求AI完成“点一杯咖啡”这样的任务，以确认它是否能正确运用相关事实。

测试设计为让3个虚构人物各自拥有约50万token的对话历史，并向每人布置200项任务。结果不仅要报告准确率，也必须同时报告费用和耗时。

这项测试由销售名为Mem0的记忆系统的企业开发。该公司公布的结果显示，其系统成功完成了70.67％的任务，排名第一。参与此次测试的作者既没有复现DolphinBench，也没有测试任何特定企业的产品，而只是借鉴了其思路，自行设计了一项小规模实验。

以虚构项目经理达娜为对象，测试4种记忆方法

实验的主角是虚构项目经理达娜·惠特菲尔德。研究人员准备了她一整年的80段对话历史，并在其中设置了一些考验。

一年的历史记录和30项任务

历史记录约有4万token。其中30段对话各自提到一项事实，例如常去的午餐店、会议时间、项目发布日期或负责人。另有11段内容会在之后更改这些事实，剩下的39段则是关于打印机、火车、天气等的闲聊。为了不让事实显得过于突出，研究人员特意混入了日常对话。

任务共有30项，要求通过调用设置会议、点餐、发送消息或分配任务等工具来完成。其中9项需要用到两项事实，例如负责人和日期。评分时不看回复文字，只判断传给工具的值是否正确。研究人员还针对相同事实各准备了一个普通问题，以检查模型能否根据最新信息作答。

比较的4种方式

共有4种方式：不提供任何内容的“无记忆”；每次都提供全部4万token历史记录的“完整历史”；逐步读取历史记录，并不断改写约1,000词摘要的“摘要”；以及提取5段与任务相关的历史片段并提供给模型的“检索”。

打个比方，这就像是每天早上把一整年的日记交给你、给你一张别人整理的作弊小抄，或者每次有任务时只摘出相关页面。

测试使用的模型是OpenAI的GPT-4o mini和Anthropic的Claude Haiku 4.5，总计运行了1,260次。所有实验记录都保存在实验管理工具Weights & Biases中。