工具
amandachan-ai/self-sealing-revisions · An empirical study of how an agent's self-authored revisions constrain its own future evidence — hypothesis revision, falsifiability, and long-horizon recoverability. Deterministic harness, 22 offline tests, negative result, checkable in one second.
该项目是一个关于智能体自我改进的实证研究仓库：作者提出“自我封闭式修订”假设，认为智能体失败后写下的经验教训越宽泛，就越会屏蔽可用于证伪该教训的未来证据；并在确定性、无 LLM 参与的文档检索环境中设计对照实验（natural 臂与 broad 臂，各 30 个 episode）进行检验。结果显示，智能体只在遵守禁令不付出代价时才遵守，在遵守会损失答案时便违背禁令，因此能力损失为 0，禁令随时间衰减，最终不支持该假设。仓库包含确定性环境、智能体循环与经验存储、离线核验脚本、22 个离线测试、运行日志和实验分析脚本；verify_offline.py 可在一秒左右、无需依赖和凭证的情况下，从已提交日志重算 README 中的关键数字。
展开详情收起详情：Self-Sealing Revisions：检验智能体自我修订是否会封闭自身可证伪性的实证研究⌄
程序员用于智能体可靠性评估与实验复现：仓库提供确定性文档检索环境、智能体循环与经验存储、离线核验脚本和 22 个离线测试，程序员可据此检验智能体自我修订规则在失败后是否被遵守，并用 verify_offline.py 从已提交日志重算关键数字。
★ 0 · 研究实现
原文发布：未知收录：2026-10-28
工具
JiamanBettyWu/retrieval-lab · Two-stage RAG retriever measured against a computed oracle ceiling on BEIR
retrieval-lab 是一个检索质量实验项目：以 BEIR（NFCorpus、SciFact、FiQA）为基准，用 NDCG@10、MRR@10、Recall@100 等指标，对两阶段 RAG 检索器（双编码器召回 + 交叉编码器重排）的每一处改动进行测量，包括用 LoRA 微调编码器后发现效果变差的结果也如实保留。项目还计算 oracle 重排上限，区分“相对基线提升”与“占可用提升空间的百分比”，并讨论 qrel 密度、基线 NDCG 等混杂因素的归因分析；后续阶段计划把已验证的检索器接到生成器后面，用与人工标注校准的 LLM-as-judge 评测有据回答。
展开详情收起详情：retrieval-lab：基于 BEIR 的两阶段 RAG 检索器构建与逐步量化评测实验台⌄
程序员作为检索质量实验台，用于构建和评测两阶段 RAG 检索器（双编码器召回 + 交叉编码器重排），在 BEIR 数据集上以 NDCG@10、MRR@10、Recall@100 等指标量化每次改动，并计算 oracle 重排上限以区分相对基线提升与占可用提升空间的比例。
★ 0 · 研究实现
原文发布：未知收录：2026-10-26
工具
Tencent-Hunyuan/DiagSafe · DiagSafe: diagnostic LLM safety benchmark with prompt-level rubrics (3,489 bilingual prompts, 84-label taxonomy)
DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。
展开详情收起详情：DiagSafe：面向大语言模型的诊断式安全评测基准⌄
程序员作为 LLM 安全评测工具，程序员可用仓库提供的评测脚本、OpenAI 兼容与 vLLM 配置，对模型进行提示级安全诊断，并分析不安全率与有用性统计，用于模型安全测试与红队评估。
★ 26 · 可直接使用的工具
原文发布：未知收录：2026-10-24
工具
MasayukiYamagishi/kokochi-ui-agent-readability-lab · OpenTelemetryを使って、HTML構造の違いによるLLMのUI解釈を観測・評価する実験基盤
该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。
展开详情收起详情：KOKOCHI UI Agent Readability Lab：用 OpenTelemetry 观测和评估 LLM 对 HTML 结构不同的 Web UI 的解读⌄
程序员作为实验基座，在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构，并对比 semantic-first 与 presentation-first 的 Fixture；通过 OpenTelemetry 采集推理与评估过程的 trace、metrics、logs，并配合 Grafana 进行观测。
★ 0 · 研究实现
原文发布：未知收录：2026-10-24
工具
HarperZ9/proof-surface · proof-surface checks an AI agent's trace against the permissions it was granted, and turns traces, evals and measurements into JSON packets with a verdict and report. Python, no dependencies.
proof-surface 是一个 Python 库和命令行工具，用于把 AI Agent 的轨迹（可读取 OpenTelemetry、LangSmith、Langfuse 导出或自有 JSON 格式）与授权清单中的允许动作、目标范围和有效期逐项比对，并把每个动作标记为 MATCH、DRIFT 或 UNVERIFIABLE，同时给出对应决策与可读报告。它还能把测量、评测、研究声明等记录转成带结论的 JSON 包，并针对各领域常见的过度声明做拒绝检查；此外提供证据包、工作记录、授权收据、委派链、预执行门控等基础校验器及多个外部工具导入适配器。
展开详情收起详情：proof-surface：校验 AI Agent 轨迹是否越权的证明包工具⌄
程序员在开发或审查 AI Agent 时，用该工具读取 OpenTelemetry、LangSmith 或 Langfuse 导出的轨迹，与授权清单中的允许动作、目标范围和有效期逐项比对，把每个动作标记为 MATCH、DRIFT 或 UNVERIFIABLE，并生成带结论的 JSON 包和可读报告，用于确认 Agent 是否越权。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-24
工具
dominicrume/ai-code-quality-auditor · An empirical safety harness for agentic AI coding systems: measures whether an AI agent built what the specification asked for, not just whether the code runs. Pre-registered, blinded, open data.
该项目是一个面向智能体式 AI 编码工作流的实证测量与审计工具。它从需求文档、README、包描述或 feat: 提交中提取规格并写入 .auditor/spec.yaml，然后逐项核对代码是否实现了所要求的功能（规格保真度，区分已交付、缺失、存在但不可达以及未被要求的内容），同时报告安全漏洞密度、圈复杂度、重复代码和返工等常规指标。它还支持在同一规格下对比人工基线与多个商业智能体工具的工作流，输出 CSV/JSON 供统计比较，并通过 CI 集成或本地仪表盘展示结果。项目带有学术研究背景（MSc 论文实验工具）与公开数据，也明确披露了自身的误报和方法学限制。
展开详情收起详情：AI Code Quality Auditor：审计 AI 编码智能体是否按规格交付代码并衡量代码质量⌄
程序员审计 AI 编码智能体交付的代码：从需求文档、README、包描述或 feat: 提交中提取规格，逐项核对功能是否已交付、缺失或存在但不可达，并报告安全漏洞密度、圈复杂度、重复代码和返工等指标；可通过 CI 集成或本地仪表盘展示结果，用于代码审查与质量把关。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-24
工具
openai/MultiLangBench · An eval based on SQLite that benchmarks language models in multiple languages.
MultiLangBench 是 OpenAI 发布的评测项目，要求语言模型依据 SQLite 3.40.1 文档，用指定编程语言实现一个 SQLite 兼容程序，并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成，评分以（API 成本、测试通过率）二元组表示；完整测试共 24k 条，README 建议先运行以 00、01、02 开头的 272 条测试。
展开详情收起详情：MultiLangBench：多语言语言模型 SQLite 实现能力评测基准⌄
程序员用于评测语言模型依据 SQLite 3.40.1 文档、用指定编程语言实现 SQLite 兼容程序的能力，并通过由 TCL 测试转换而来的测试套件验证实现正确性；评分以（API 成本、测试通过率）二元组表示。
★ 32 · 开发框架
原文发布：未知收录：2026-10-24
工具
openai/php2shell-checker
OpenAI 开源的 PHP 版本检查工具，通过网站的 PHP 响应头或本地安装信息判断是否处于 PHP2Shell 漏洞受影响版本范围，输出 OK、POTENTIALLY VULNERABLE 或 UNKNOWN 三种结果，支持命令行直接运行和 Codex 技能两种使用方式。
展开详情收起详情：php2shell-checker：基于 PHP 版本检测 PHP2Shell 漏洞风险⌄
程序员通过网站 PHP 响应头或本地安装信息检测 PHP 版本是否处于 PHP2Shell 漏洞受影响范围，输出 OK、POTENTIALLY VULNERABLE 或 UNKNOWN，并支持 --json 机器可读输出，用于安全排查与排错。
★ 806 · 可直接使用的工具
原文发布：未知收录：2026-10-23
工具
yagobski/agentleak · Open-source privacy testing for AI agents. Python SDK, CLI and MCP tools to detect data leaks across tool calls, memory, inter-agent messages and logs, with redacted reports and CI gates.
AgentLeak 是一个面向 AI Agent 的开源隐私泄漏测试工具，提供 Python SDK、CLI 和 MCP 工具。它检查工具调用、共享内存、Agent 间消息、日志和生成文件等执行通道中的数据泄漏，每条 trace 会生成脱敏报告，并基于 AgentRisk 给出风险指数；支持 CI 门禁、合规框架映射、本地 Web 平台和多种 Agent 框架集成。检测与评分默认在本地进行，不依赖云端或 LLM。
展开详情收起详情：AgentLeak：AI Agent 隐私泄漏检测工具⌄
程序员在开发或集成 AI Agent 时，用 AgentLeak 的 Python SDK、CLI 或 MCP 工具检测工具调用、共享内存、Agent 间消息、日志和生成文件等执行通道中的敏感数据泄漏，并生成脱敏报告与风险指数；可通过 CI 门禁在发布前检查隐私泄漏。
HRAgentLeak 的 hr 检测器可识别薪资、病假、绩效评估、纪律处分和投诉等 HR 数据泄漏，用于审查涉及员工数据的 AI Agent 执行通道是否泄露此类信息。
★ 10 · 可直接使用的工具
原文发布：未知收录：2026-10-20
综合合集
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
展开详情收起详情：llm-agent-experiments：多智能体流水线中开源权重模型的角色级替换评测⌄
程序员作为多智能体流水线中角色级模型替换的评测模板与数据集，程序员可参考其预注册协议、8 项二元评分准则、盲评流程和成本效率指标，评估开源权重模型能否替代专有基线模型承担研究综合等子代理角色；仓库还公开了逐次运行得分、延迟日志与 SCOUT 交接 JSON，可用于复现和比较模型表现。
★ 3 · 资料合集
原文发布：未知收录：2026-10-20
工具
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
展开详情收起详情：AI Job Insight Evaluator：面向招聘岗位描述的大模型结构化信息抽取评测与岗位洞察平台⌄
程序员提供关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器实现，以及准确率、Precision、Recall、F1 等评测代码，可供开发人员参考或复用进行信息抽取评测。
HR用于对公开招聘岗位描述（JD）进行结构化信息抽取与评测，辅助招聘信息整理和岗位技能需求分析；项目首期覆盖大模型评测、产品经理、数据分析三类实习岗位。
产品经理项目将产品经理实习岗位纳入岗位描述结构化提取与技能需求分析范围，可用于产品经理岗位的招聘信息洞察。
★ 1 · 研究实现
原文发布：未知收录：2026-10-19
工作流
LavishSphere/patchlane · Autonomous incident response for financial systems, powered by secure AI agent sandboxes.
Patchlane 是一个面向金融系统的自主事件响应项目：当转账等服务出现资金安全缺陷时，它按欺诈规则检测异常，在 Daytona 隔离沙箱中复现攻击，由 Factory Droid 在沙箱内分析并编写修复，再把补丁应用到第二个干净沙箱，用智能体未见过的留出测试和回归测试进行验证，最后等待人工审批。项目还提供 React 仪表盘、场景构建器和 Chalk 基准评测，并给出多组种子缺陷案例的运行结果。
展开详情收起详情：Patchlane：面向金融系统的自主事件响应与沙箱化修复验证⌄
程序员用于金融系统缺陷的自动化事件响应：在隔离沙箱中复现攻击、由 AI 智能体分析并编写补丁，再在第二个干净沙箱中用留出测试和回归测试验证补丁，最后等待人工审批；可作为程序员排查资金安全类缺陷、验证修复的参考工作流。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-19
工具
mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state
mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。
展开详情收起详情：mobium-evals：通过 MCP 驱动 Mobium 的 Android 智能体评测框架⌄
程序员用于评测固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成登录、表单、滑块、WebView 表单等任务的效果，并依据设备自身状态而非智能体自述进行判分；还可通过 verify 对比 Mobium 改动前后同一任务与种子的结果，作为回归检查。
★ 0 · 开发框架
原文发布：未知收录：2026-10-19
综合合集
ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!
这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。
展开详情收起详情：Awesome-LLM-Evaluation-Testing：LLM 评测与测试资源合集⌄
程序员作为 LLM 应用开发者的选型清单，检索并比较开源评测器、RAG 评测库、提示词回归测试工具、Agent 评测框架和可观测性平台，用于在 CI/CD 中测试 LLM 输出、检测幻觉与提示词回归。
★ 0 · 资料合集
原文发布：未知收录：2026-10-19
工具
vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.
fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。
展开详情收起详情：fin-doctor：在 AI 财务问答交付前核查 IRS 与 SSA 金额事实⌄
程序员在开发金融类 AI 智能体时，可将 fin-doctor 作为 MCP 服务器接入（如 Claude Code），在草稿答案交付前调用 check_answer / gate 对 IRS、SSA 官方金额进行事实核查，并返回 SEND/REVIEW 判定；也可用 contribution_room 工具做确定性的额度计算。
产品经理作为 AI 产品经理的参考构建，可借鉴其从 PRD、评测计划到盲测、发布门禁的流程，以及模型风险包（清单、模型卡、验证报告、监控计划）来设计金融 AI 答案的事实核查与上线治理方案。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-19
工具
antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.
errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。
展开详情收起详情：errorbars：为 LLM 评测结果添加误差条与显著性检验的统计工具⌄
程序员在评估或比较 LLM 模型或代码生成基准的得分时，为准确率结果计算标准误、置信区间和显著性检验，判断模型间的分数差距是真实提升还是噪声；也可读取 lm-evaluation-harness 与 Inspect AI 的日志进行配对比较和排行榜分析。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-19
工具
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
展开详情收起详情：eval-floor：检测 LLM 评测任务中零信息答案的得分基线⌄
程序员在开发或审查 LLM 评测代码时，用该工具以空字符串、拒答、拼接所有标签、回显问题等无信息答案驱动 Inspect Evals 任务的真实评分器和数据集，测量无内容答案能拿到多高分数并与多数类基线对比，从而发现评分器缺陷（如 paws 的 includes() 问题）并验证修复。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-19
工具
elementmerc/senbonzakura · The world's top open-weight AI model workshop. Measure, uncensor and audit: refusal removal for transformer language models, with the instruments to measure what the edit cost.
Senbonzakura 是一套 Python 工具，用于对开源权重 Transformer 语言模型执行 abliteration（项目称为 uncensoring）：移除模型原有的拒绝回答行为，并用带区间与对照的测量工具评估该编辑造成的代价，包括拒绝是否真正消失、模型是否仍能识别有害内容、推理能力是否下降以及首 token 分布漂移。仓库提供 compass、score、drift、capability、validate、check、report 等命令，并附带约 6200 条有害提示的评测轨道以便离线运行。README 明确说明该编辑会永久写入权重，且生成模型仍受基础模型许可证约束。
展开详情收起详情：Senbonzakura：对开源权重语言模型进行去审查编辑并量化其代价⌄
程序员作为 Python 工具，用于对开源权重 Transformer 语言模型执行 abliteration（去审查编辑），并通过 compass、score、drift、capability、validate、check、report 等命令测量编辑代价，包括拒绝行为是否消失、模型是否仍能识别有害内容、推理能力是否下降以及首 token 分布漂移。
★ 10 · 可直接使用的工具
原文发布：未知收录：2026-10-17
工具
langchain-ai/agentevals · Readymade evaluators for agent trajectories
AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。
展开详情收起详情：AgentEvals：面向智能体轨迹的评估器集合⌄
程序员在开发智能体（Agent）应用时，使用 AgentEvals 提供的评估器对智能体执行轨迹进行评测：可基于参考轨迹做严格/无序/子集/超集匹配，也可用 LLM-as-judge 评估轨迹准确性，并支持图结构轨迹评测，帮助程序员验证智能体中间步骤是否符合预期。
★ 751 · 开发框架
原文发布：未知收录：2026-10-17
工具
harbor-framework/harbor · Framework for evaluating and improving agents
Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。
展开详情收起详情：Harbor：面向容器环境评估与优化智能体和语言模型的框架⌄
程序员程序员可用 Harbor 在容器环境中评估和优化编码智能体与语言模型，例如运行 Terminal-Bench-2.0 基准测试 Claude Code、OpenHands、Codex CLI 等智能体，并通过 Daytona、Modal 等提供方并行运行上千个环境开展实验，以及为强化学习优化生成 rollout。
★ 6185 · 开发框架
原文发布：未知收录：2026-10-17