memory-benchmarks

akm-eval：面向 akm 记忆系统的可复现评测与基准测试工具集

itlackey/akm-eval · Docker-first, reproducible memory benchmark harness and official AKM evaluation results.

akm-eval 是 akm 记忆系统的评测与基准脚本集合，每个脚本在一批用例上运行 akm、对返回结果打分并保存结果，可通过 compare 脚本比较历史运行，并在公开结果账本中查看质量与性能数据。评测覆盖检索排序、judge 质量门、笔记合并与蒸馏、提取、夜间改进流程，以及 LongMemEval、Terminal-Bench、SkillRet 等基准；多数评测可对接任意 OpenAI 兼容模型，检索类与 SkillRet 评测不调用模型，agent-ab 与 terminal-bench 在 Docker 中通过 Harbor 运行 opencode。项目以 Docker 作为主要运行方式，提供预构建 runner 镜像和独立工作目录存放配置、数据集与结果。