Harbor：面向容器环境评估与优化智能体和语言模型的框架

harbor-framework/harbor · Framework for evaluating and improving agents

GitHub原文发布未知首次收录 2026-10-17上架 2026-10-17 07:00

ELI5：它是什么，解决什么问题

Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。

# eval-harness # 基准评测 # Agent 评测 # rl-environments # 并行实验

核心能力与快速开始

★ 6185 · Python

能做什么: 评估任意智能体（如 Claude Code、OpenHands、Codex CLI 等）；构建与分享自定义基准和环境；通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方在数千个环境中并行开展实验；为 RL 优化生成 rollout；支持 Terminal-Bench-2.0 及 SWE-Bench、Aider Polyglot 等第三方基准的数据集查询。
适用场景: 对智能体和语言模型进行基准评测；运行 Terminal-Bench-2.0 官方评测；在本地 Docker 或云端环境中大规模并行跑评测实验；构建和发布自有基准与环境；为强化学习生成 rollout 数据。
项目形态: 开发框架
部署方式: 本地可通过 Docker 运行；也支持通过 Daytona 等云提供方运行，需相应 API Key（如 ANTHROPIC_API_KEY、DAYTONA_API_KEY）；其他部署条件未说明。
主要依赖: Python 环境，可用 uv 或 pip 安装；具体版本与硬件要求未说明。
使用限制: 评测通常依赖外部模型 API，可能产生 API 成本与限额；许可证为 Apache-2.0，但商业使用与托管限制未说明；具体部署与硬件要求未说明。
许可证: Apache-2.0
最近推送: 2026-10-17 04:43

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

程序员可用 Harbor 在容器环境中评估和优化编码智能体与语言模型，例如运行 Terminal-Bench-2.0 基准测试 Claude Code、OpenHands、Codex CLI 等智能体，并通过 Daytona、Modal 等提供方并行运行上千个环境开展实验，以及为强化学习优化生成 rollout。

查看内容依据

Evaluate arbitrary agents like Claude Code, OpenHands, Codex CLI, and more.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

strix-halo-llm：AMD Strix Halo 上的 llama.cpp Vulkan 调优与 LLM 评测工具集

该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。

decision-longctx-evals：面向决策模型的长上下文检索与推理评测工具

该项目为“决策模型”（读取状态并对固定选项集返回概率、而非生成文本的模型）提供两套长上下文评测：Decision RULER 包含 11 个合成任务（针检索、变量追踪、词计数），以多选题决策形式覆盖 64K 至 1M token；Decision LCR 基于真实文档（每份约 100K token）的 100 道多选题。项目提供 pip 安装的 dlce 命令行工具，通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率来运行评测，支持并发、多端点分发、断点续跑，并按任务平均分（RULER）或全对准确率（LCR）计分，输出逐决策的 JSON 记录。该评测是 RULER 与 AA-LCR 面向决策模型的原则性改编，分数与原基准不可直接比较。

IncidentBench：面向 AI 驱动的 Kubernetes 故障响应基准与评测平台

IncidentBench 是一个将 Kubernetes 故障响应转化为可复现实验的基准与评测平台。它部署微服务应用、生成用户流量、注入受控故障，并记录故障响应系统的调查与处置过程。平台包含异常检测、根因分析、受控修复、验证与学习的参考系统，并可通过生命周期适配器接入其他响应系统，复用负载、故障场景、证据采集与评分流水线。内置标准套件覆盖三个微服务应用共 69 个场景，涵盖节点与 Pod 资源压力、网络故障与容量损失等故障族，提供报告、时间线与应用对比。

mobium-evals：通过 MCP 驱动 Mobium 的 Android 智能体评测框架

mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。