egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽

egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer

GitHub原文发布未知首次收录 2026-09-25上架 2026-09-25 07:02

ELI5：它是什么，解决什么问题

该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。

# ai-evals # reproducibility # registry # agent-testing # 模型监控

核心能力与快速开始

★ 0 · HTML

能做什么: 提供个人作品集网站，介绍作者在 AI 评测与测试方面的工作，并以 README 和表格形式梳理一套互相连接的开源项目：evalmut（评测套件变异测试）、reference-fleet（带已知缺陷的参考模型与审计看板）、agent-certlab（编码 Agent 能力契约）、vac-protocol（可验证 Agent 声明规范与注册表）、vac-gate（基于已验证契约的 CI 门禁）、crashkit（BYOK 对抗性崩溃测试）、gradecore（确定性评分引擎）、harness-builder（Harness 形态扫描）、eval-history（FastAPI+Postgres 评测历史存储服务）、llm-gateway（OpenAI 形态多供应商网关）、model-drift（每日 LLM 回归追踪）、rag-eval-lab（无依赖 RAG 管线与评测）、mcp-tools（从零实现的 MCP 服务端）、agent-graph（LangGraph ReAct Agent）、prompt-regress（PR 合并回归门禁）、eval-dashboard（Next.js 评测看板）、match3-engine、evals-differential-oracle（差分测试）与 agentic-dev-harness（架构案例）。网站包含由 committed 产物生成的页面、由 refresh_drift.py 从 model-drift 产物生成的漂移看板段落，以及保持外链不失效的链接检查 CI。
适用场景: 适合希望了解 LLM 评测、回归测试、可验证证据包与 CI 门禁实践的开发者或团队浏览参考；也可作为寻找具体评测工具（如变异测试、回归追踪、RAG 评测、LLM 网关、MCP 服务端）的入口页。作品集本身面向招聘方或同行展示作者在 AI 评测与测试工程方面的项目组织方式和系统设计能力。
项目形态: 资料合集
部署方式: 网站托管于 GitHub Pages（erikhill.dev）；suite/ 目录页面由本地脚本生成后提交。README 提到 eval-history 曾部署在 Render + Neon，目前托管已下线，其读取路由以带哈希清单的静态归档形式发布于 erikhill.dev/eval-history；rag-eval-lab 部署在 Cloudflare Workers。其余子项目部署情况未在其中逐一说明。
主要依赖: 本仓库为手写 HTML/CSS，无框架、部署时不编译；suite/ 页面生成需要运行 suite/build.py、suite/runner.py 与 suite/refusals.py（Python）。README 中的示例命令使用 python -m pytest 运行 tools/ 下的测试。具体 Python 版本与依赖未说明。
使用限制: README 明确说明原托管（Render + Neon）已不可用，eval-history 仅以静态归档形式提供读取；模型漂移看板段落为生成内容，需通过脚本刷新。各子项目的 API 成本、授权与商用条件在本材料中未说明。本材料为 README 摘录，未实际安装或运行验证。
许可证: 未说明
最近推送: 2026-09-24 08:43

项目文档核对 README 依据 ↗

资料检查：2026-09-25 07:00 · 卡片整理：2026-09-25 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为 AI 评测与测试工程师的工作系统枢纽，该仓库汇总了用于 LLM 回归探测、可验证评测（能力契约与可重放证据包）、确定性评分引擎、RAG 评测、LLM 网关、MCP 服务器和 LangGraph 代理等的小型仓库，并给出各仓库之间的真实数据流，程序员可据此参考或复用这些评测、测试与 CI 门禁工具。

查看内容依据

This repo is the site's source, but it's also the **hub of a working system**: a set of small, single-purpose repos that probe LLMs for regressions, store the results in a real service, gate merges on them, and prove their own correctness.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Code Review Cadre：用自有仓库历史基准评测多个 AI 代码审查器并组建互补审查阵容

Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。

model-drift：面向多厂商 LLM 的公开回归追踪与漂移监控面板

model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。

measure-twice：在自定义任务上横向评测本地模型与云模型并留存路由证据

measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。

LangWatch：LLM 可观测性、评估与 Agent 测试平台

LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。