harness-tuner：测量 Agent Harness 开销并验证优化效果的评测工具

核心能力与快速开始

★ 2 · Python

能做什么

通过小型适配器读取任意 Harness 的 trace，计算固定的 24 项运行指标；识别 Harness 在何处浪费模型能力，并给出带有来源步骤编号的算术型发现；生成可人工应用的改进提案（给出上界而非预测收益）；通过 anytime-valid e-process 与 e-value 判断改动是否真正有效（输出 confirmed / refuted / unproven）；提供 Harness DNA 指纹（基于已测量值的函数，输入不足时标注“证据不足”）；将无法观测的指标报告为 unavailable 并附原因，区分“观测到的零”与“未观测”，明确不把无法运行的任务计为失败；支持录制一次真实运行后以 cassette 进行免费、字节确定性的重放；提供 doctor 命令列出当前安装无法完成的事项，以及 conformance 一致性套件校验自研实现。项目定义 HTP-1 协议，固定 trace 记录字段、24 项指标定义与 8 个运行产物文件，使不同实现之间的运行结果可以互读。

适用场景

用于评估和调优自建或第三方 Agent Harness（如 Claude Code、Codex CLI、OpenHands、Cursor、Aider 或自研 runner）的运行时效率，例如发现重复读取、循环、缓存行为、上下文增长与错误恢复方面可回收的浪费；用于在修改 Harness 后以统计方式证明改动是否真正带来改善；用于在 CI 中通过 cassette 重放进行可复现的 Harness 评测；用于作为 HTP-1 协议的参考实现，供无 Python/容器环境的机器按其一致性套件重新实现。

项目形态

可直接使用的工具

部署方式

提供多种运行方式：容器镜像 ghcr.io/csnyder256/harness-tuner:latest（README 示例使用 docker run）；从源码克隆后 python -m harness_tuner 直接运行；通过 pipx 或 uvx 从 git 安装为 PATH 命令；各 release 附带 wheel 可用 pip install 直接安装。也可选择按 HTP-1 协议自行重新实现并用一致性套件验证。

主要依赖

参考实现需 Python 3.11 或更高版本，零依赖、无需编译。容器方式需要容器运行时。README 未说明其他硬件要求。

使用限制

项目不发布任何关于他人 Harness 的数值或排行，也不自动应用自己生成的提案，需由人工决定并提交；默认不直接调用模型，由用户的 Agent 填写请求文件；不跳过任务除非存在能力扫描，跳过的任务会被计数而不计为失败；驱动模式会以真实工具权限执行 Harness，需用户自行记录并确认其可触及范围，项目不对隔离方式（Docker、VM 等）作规定；使用直接调用模型的路径是代码中唯一带依赖的部分。API 成本、具体硬件与并发限制未说明。

许可证

MIT

最近推送

2026-09-29 13:13

资料检查：2026-09-30 07:00 · 卡片整理：2026-09-30 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

用于测量和优化 AI Agent Harness（系统提示词、工具集、记忆与上下文策略、钩子、重试、压缩等模型外围脚手架）的运行时表现，定位 Harness 浪费模型能力的位置并生成可应用的改进提案，并通过 anytime-valid e-process 验证改动是否真的有效。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证