akm-eval：面向 akm 记忆系统的可复现评测与基准测试工具集

itlackey/akm-eval · Docker-first, reproducible memory benchmark harness and official AKM evaluation results.

GitHub原文发布未知首次收录 2026-11-05上架 2026-11-08 07:05

ELI5：它是什么，解决什么问题

akm-eval 是 akm 记忆系统的评测与基准脚本集合，每个脚本在一批用例上运行 akm、对返回结果打分并保存结果，可通过 compare 脚本比较历史运行，并在公开结果账本中查看质量与性能数据。评测覆盖检索排序、judge 质量门、笔记合并与蒸馏、提取、夜间改进流程，以及 LongMemEval、Terminal-Bench、SkillRet 等基准；多数评测可对接任意 OpenAI 兼容模型，检索类与 SkillRet 评测不调用模型，agent-ab 与 terminal-bench 在 Docker 中通过 Harbor 运行 opencode。项目以 Docker 作为主要运行方式，提供预构建 runner 镜像和独立工作目录存放配置、数据集与结果。

# Docker # 基准测试 # 评测集 # memory-benchmarks # LongMemEval

核心能力与快速开始

★ 0 · TypeScript

能做什么: 提供一组脚本形式的评测与基准：在给定语料上运行 akm，对输出打分并写出 summary.json 与逐用例 samples.jsonl；支持重复运行、比较已保存运行、通过 compare 与结果账本汇总质量与性能指标。评测覆盖检索排序、judge 质量门、pair/lesson/drain 判定、reflect、distill、consolidate、extract、nightly、promotion、agent-ab、bakeoff、memory-utility，以及 LongMemEval、Terminal-Bench、SkillRet 等基准。支持选择模型、judge 模型、akm 构建版本、关键字或语义检索、超时与并发设置，并记录模型用量、akm 版本与配置等元数据（敏感字段脱敏）。
适用场景: 适合需要评估 akm 记忆系统在检索、笔记整理、知识蒸馏与长期记忆问答等环节表现的开发者或研究者；适合在更换模型或 akm 版本后复跑评测并对比效果；适合用公开结果账本查看和比较历史运行的团队。
项目形态: 研究实现
部署方式: 主要使用 Docker 运行：拉取预构建镜像 ghcr.io/itlackey/akm-eval:main，并在独立工作目录中挂载运行；也可从源码构建，需要 Bun 与 AKM，Harbor 相关评测另需 uv 与 Docker。
主要依赖: Docker 为唯一需要安装的运行时；源码原生开发需要 Bun 和 AKM，Harbor 评测还需 uv 与 Docker。模型通过 .env 的 MODEL_BASE_URL、MODEL_API_KEY、MODEL_NAME、MODEL_PROVIDER 配置，judge 通过 JUDGE_MODEL 等配置。
使用限制: 镜像不包含任何凭据，需要自行提供模型端点与密钥；部分评测依赖外部模型服务，其成本与限流未说明；结果只反映所用模型与 akm 构建下的表现，未说明跨版本结论是否通用。
许可证: MPL-2.0
最近推送: 2026-11-05 06:42

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-05 07:00 · 卡片整理：2026-11-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

Alone With a Stranger：评估开放权重模型在安全建议中的国籍偏见

该项目是一个用于评测开放权重语言模型安全建议中国籍偏见的基准研究。研究使用同一句法语提示词，仅改变“一名女子与一名男子独处”情境中男子的国籍（24 个国籍加一个对照组），覆盖 11 种情境、3 种改写、3 个年龄和 3 次采样，并用 Qwen3-32B-AWQ 作为 LLM 评审，按 rts-v4 评分表对回答评级。仓库提供评测生成脚本、评审脚本、Kaggle 推送工具、答案与评审结果数据、用 Python 做的综合分析笔记本，以及用 Quarto 和 R 撰写的科学报告，并给出 Zenodo 报告与 Kaggle 数据集和笔记本链接。

reasoning-dataset-lab：面向推理数据集构建的先证明答案键，再由模型措辞

reasoning-dataset-lab（命令行工具 rdlab）是一个 map-first 实验室，用于构建谜题、测验与验证项数据集。它先用代码构造形式化状态并由求解器证明答案键，再由本地模型将条目措辞，并记录每个条目的来源。它提供地图校验与指纹、模型列出与多样性报告以及评委比拼（bake-off）；后者包含密封测试部分、表面特征探测以及独立评分步骤。项目为 Python 包，要求 Python 3.13 及以上，评委运行需 GPU 与经许可的本地模型，版本为 alpha。

local-llm-benchmarks：AMD RDNA4 显卡上 llama.cpp 本地大模型的实测基准

这是一个实测记录型仓库，汇集了在 AMD Radeon RDNA4 显卡（RX 9070 XT 与 Radeon AI PRO R9700，合计约 48.9 GB 显存）上运行 llama.cpp + ROCm 7.2 的基准数据。内容包括各模型的吞吐量、显存适配、GGUF 量化质量（与 BF16 的 KL 散度对比）、MTP 推测解码、128K 长上下文实测，以及在本地模型上运行 Claude Code、aider、Cline、Pi 等编码代理的实践记录。还附带了 ROCm 与 Vulkan 后端的对比、llama.cpp 版本升级前后的差异，以及脚本和原始日志。

GTA Housing Pipeline：整合大多伦多地区四个政府开放住房数据并用自然语言查询

该项目从多伦多、密西沙加、布兰普顿和皮尔区的开放数据门户及加拿大统计局采集新房与住房项目记录，用 DuckDB 将不同定义与格式的数据统一为星型模型，并提供基于规划器、执行器和批判器的自然语言查询层、60 题评测集、Power BI 报告与 Next.js 网页应用，还附带可选的 AWS Athena 分析层与数据质量审计记录。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。