五个 AI 智能体框架参加同一项记忆测试，结果差距悬殊
这件事讲了什么
Letta 发布了一个叫 FrontierMemory 的新测试，专门看 AI 智能体能不能把过去的经验真正用在后面的任务上，而不只是把信息存起来。他们让五个智能体系统先看以前的工作记录，再自己总结记忆去完成新任务，结果分数从 73.3% 到 26.7% 不等：Letta Dream 最高，Prime Agent 60%，OpenAI Agents SDK 40%，Claude Managed Agents 33.3%，Hermes Agent 最低。在模型层面，Claude Opus 5.5 和 GLM-5.3 并列第一（73.3%），但 GPT-6.1 Sol 虽然只有 60%，每个任务只要约 0.77 美元，远低于 Opus 5.5 的 2.80 美元和 GLM-5.3 的 3.58 美元。对开发者来说，这说明同样的模型换个框架效果可能差很多，也可以考虑用贵模型生成记忆、用便宜模型干活。不过该测试目前只有 15 个任务、每个只跑一次，单个结果就能让分数浮动约 6.7 个百分点，且暂不涉及边做边更新记忆，后续版本才计划加入更长任务和在线更新。
可以使用的工具
文中可用工具
- FrontierMemoryLetta 发布的基准测试，衡量智能体能否从过去经验中学习并用于新任务
- Letta DreamLetta 的智能体框架，在本次测试中得分最高，用于生成和利用记忆
- Prime Agent参与测试的智能体框架，得分 60%
- OpenAI Agents SDKOpenAI 的智能体开发框架，参与测试得分 40%
- Claude Managed AgentsAnthropic 的托管智能体方案，参与测试得分 33.3%
- Hermes Agent参与测试的智能体框架，得分最低为 26.7%
- Letta CodeLetta 的编码环境，用于测试各模型生成的记忆在任务中的效果
- OpenClaw多人在线环境，其账号表示希望以插件形式参与记忆测试，目前尚未接入
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。