评测与安全AI 资源

agentic-evalkit：面向 AI Agent 的可重复评测与校准评审工具

tafreeman/agentic-evalkit · Evaluate AI agents with repeatable tests, calibrated judge evidence, and reviewable reports.

GitHub原文发布未知首次收录 2026-10-16上架 2026-10-23 07:04

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

agentic-evalkit 是一个 Python 评测工具包，用于对 AI Agent 的输出按自定义检查项打分，并生成可复核的评分证据报告。它支持命令行和 Python API，可评测 Python 代码、命令行程序和 HTTP 服务，且不绑定特定 AI 框架。评测先执行客观检查，再可选进行模型评判；内置参考评判器对相同输入返回相同结论，且仅作建议，不能批准发布。项目还提供针对 SWE-bench 的 Docker harness、Claude Agent SDK 目标，以及 MLflow 和 Langfuse 的校准门控集成等可选扩展。

# 基准测试 # AI 治理 # LLM 评估 # 自动化测试 # 持续评测

核心能力与快速开始

★ 2 · Python

能做什么: 对 AI Agent 输出执行可重复评测：支持自定义检查、客观检查优先、可选模型评判，并输出 JSON、HTML、Markdown 报告。支持以 callable、子进程、HTTP、MCP-stdio 或 Claude Agent SDK 适配器接入被测系统；提供 CLI 与 Python API；可选 SWE-bench Docker harness、MLflow 与 Langfuse 校准门控集成。
适用场景: 适用于为 AI Agent 或代码生成系统建立可复核的评测流程，例如运行 GSM8K 预设、评测 HTTP Agent 端点、用 SWE-bench Verified harness 判定代码修复结果，以及生成评审报告。
项目形态: 可直接使用的工具
部署方式: 未说明；README 提供 pip 安装与 CLI 快速开始，未说明托管或硬件部署条件。
主要依赖: Python 环境，通过 pip 安装；可选 SWE-bench 评测需额外安装并按需使用 Docker；Claude 目标需 Claude 订阅登录；具体模型 API 成本与限制未说明。
使用限制: 内置参考评判器仅作建议，不能批准发布；快速开始示例中的 demo 目标固定回答“0”，因此示例结果为全部失败，属预期行为；与 promptfoo、Inspect 等工具的对比仅基于文档审查，未做源码审计；模型供应商选择由调用方决定。
许可证: MIT
最近推送: 2026-10-15 18:02

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-16 07:00 · 卡片整理：2026-10-23 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

coding-agent-plugins：面向 Claude Code 等编程 Agent 的插件市场，包含智能代码审查、图表生成、UI 与 API 变更前后对比测试及审阅工厂

该项目是一个 Claude Code 插件市场，提供一组可独立安装的编程 Agent 插件与界面修改插件。核心能力包括：smart-review 用六个专门视角对 diff 进行集成式代码审查并合并去重、按严重度排序；tldraw 将自然语言描述的流程图、架构图等转换为可编辑的 .tldr 文档并渲染 PNG/SVG；test-drive 在修改前后回放同一脚本场景，生成 UI 录屏对比或 API 前后报告；factory 按 spec-writer、builder、并行评审与审批流程处理功能或缺陷并支持看板。另有 cache-clock、usage-gauge、auto-handoff、agent-watch、recording-mode 等 Claude Code 界面 mod。材料还包含一个比较 Claude Code 插件与设置的 token 节省基准，运行完整矩阵会调用 Anthropic API 并有 600 美元上限。

sparebrAIns：用免费闲置算力与 Lean 4 内核验证进行机器可核验数学证明的开放协作平台

sparebrAIns 是一个开放协作项目，把免费层 LLM 和免费 GPU 算力指向用 Lean 4 形式化的数学问题，由 Lean 4 内核作为机器裁判判定每个提交的证明是否成立。项目维护 378 道 Lean 4 形式化题目（来自 Natural Number Game、Mathematics in Lean、miniF2F 等），通过模型跑道、中继接力、证明修复循环（修复形式、挖洞、Lean 自动化、子目标拆分）和志愿者 Agent 提交等机制求解，并把每次尝试、被拒尝试与最终通过证明一并公开记录。README 报告其修复工具能把免费模型的通过率从 44.8% 提升到 56.1%，最小模型提升最大。

AusLawExam-Bench：面向大语言模型的澳大利亚法律推理可复现评测基准

AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。

ai-kit：面向产品需求与全栈开发的智能体技能工作流工具包

Polyms 的 ai-kit 是一套版本控制的智能体技能与角色智能体合集，用斜杠命令串联产品对齐、需求与 PRD 撰写、设计规格、任务拆分、TDD 开发、代码审查、文档、E2E 测试、DevOps 与架构重构等环节。当前以 Cursor 为主，设计上兼容其他工具，通过 bootstrap 脚本将技能与智能体软链到本地编辑器目录，偏重小而易组合的工作流，而非重量级流程框架。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。