搜索归档

# 运行时安全 # 合规治理 # 智能体安全 # mcp-control-plane # policy-gated-execution

Conduct：面向 AI Agent 的运行时治理与合规审计控制平面

sseshachala/conductai · Runtime governance for AI agents. Allow, warn, or block every model and tool call before it commits. Hash-chained audit for every decision. Compliance packs for SOC 2, HIPAA, PCI DSS, EU AI Act, SR 11-7, and FDA CSA. Apache 2.0.

Conduct 是一个面向 AI Agent 的运行时治理控制平面，在每次 LLM 调用、shell 工具和 MCP 调用提交前决定允许、警告、审计或拦截，并提供 SHA-256 哈希链审计与面向 SOC 2、HIPAA、PCI DSS、EU AI Act 等的合规包。项目包含策略引擎 Guard、LLM 代理 Router 和聊天界面 Lens，提供自托管 Docker Compose 部署方式和 CLI 工具。

展开详情收起详情

★ 32 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-29

AgentEval：面向受监管行业的 AI Agent 需求驱动验证与合规评估平台

DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).

AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。

展开详情收起详情

# 评测与安全 # llm-as-judge # 合规治理 # AI 治理 # 智能体评测

★ 0 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-28

AI4Fire：评测语言模型与智能体在野火任务中的表现

yzhao062/AI4Fire · Five wildfire tasks for language models and agents, each run bare and grounded and scored beside a non-LLM comparator. 77,644 stored responses; every paper table reproduces offline.

AI4Fire 是一个面向野火任务的 LLM 与智能体评测基准，包含每日人员调配、野火烟雾检测、火险预报、温度相关航拍问答、火灾数据工具调用五个任务，覆盖 12 家厂商的 35 个模型。每个任务同时以裸提示与带 grounding 两种方式运行，并与非 LLM 对照基线比较，仓库内保存 77,644 条已评分响应，可离线一条命令复现论文全部主表，无需 API 凭据。

展开详情收起详情

# benchmark # 模型评估 # tool-use # 智能体评测 # wildfire

★ 1 · 资料合集

GitHub

原文发布：未知收录：2026-09-28

llm-syllogism：用 11000 条 WordNet 三段论评测大模型逻辑推理偏差

limengge426/llm-syllogism · AAAI 2026 Bridge · Do LLMs reason or pattern-match? 11,000 WordNet syllogisms across all 44 forms reveal shared biases in GPT-4o, Gemini, LLaMA, Qwen and DeepSeek.

该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。

展开详情收起详情

# benchmark # llm-as-judge # 模型评估 # 推理评测 # 逻辑推理

★ 21 · 研究实现

GitHub

原文发布：未知收录：2026-09-28

# provenance # offline-first # ai-evaluation # attestation # ed25519

proofbundle：为 AI 工作产出可离线验证的可移植证据回执

b7n0de/proofbundle · Portable evidence for AI work, verifiable offline. Integrity, not truth

proofbundle 是一个 Python 工具与回执格式，用于把 AI 评测、审查、决策或动作转化为单个可移植回执文件，支持离线验证与显式策略检查。它可证明内容由哪个密钥签名、签名内容是否被改动、所附证明与策略检查是否通过，但明确不判断所报告结果是否真实、工作是否正确或完整。核心支持签名回执与 Merkle 包含证明，并提供评测回执、选择性披露、决策回执、Inspect AI 集成、RFC 3161/OpenTimestamps 锚定、ML-DSA-44 见证共签名等可选能力，各特性成熟度不一。

展开详情收起详情

★ 2 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-27

τ-Rec：面向智能体对话式推荐系统的可验证基准

nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)

τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。

展开详情收起详情

# benchmark # LLM 代理 # 模型评估 # recommender-systems # tool-use

★ 3 · 开发框架

GitHub

原文发布：未知收录：2026-09-27

llm-bench：并发压测 LLM API 并对比延迟、吞吐与成本

Mattbusel/llm-bench · CLI that benchmarks LLM APIs: run your prompts concurrently against OpenAI and Anthropic models and compare p50/p99 latency, tokens per second, cost and success rate as a table or JSON.

llm-bench 是一个用 Rust 编写的命令行工具，把同一批提示词并发发送给多个模型（OpenAI、Anthropic，以及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），并以表格或 JSON 输出 p50/p99 延迟、每秒 token 数、单次与总成本、成功率等指标，帮助使用者在真实网络和自己提示词条件下比较不同模型的快慢与费用。内置价格表可用 llm-bench models 查看，非流式请求且不单独测量首 token 时间。

展开详情收起详情

# 延迟优化 # 多模型支持 # 成本治理 # 模型评估 # 指标聚合

★ 2 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-27

# llm-evaluation # benchmark # reproducibility # sports-simulation # multi-agent-systems

GM-Bench：评估大语言模型长程规划与决策能力的体育总经理基准

nedcut/gm-bench · A deterministic sports general-manager benchmark for evaluating long-horizon LLM planning, tool use, and decision quality.

GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。

展开详情收起详情

★ 1 · 研究实现

GitHub

原文发布：未知收录：2026-09-26

# llm-evaluation # agent-testing # 评测与安全 # LLMOps # regression-testing

Agent Evaluation：面向 LLM Agent 的统计回归测试工具

RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.

Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。

展开详情收起详情

★ 0 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-26

# ai-agents # ai-evals # llm-as-judge # product-management # annotation-tool

pmstack：面向产品经理的 AI 产品失败模式发现与评测工具

RyanAlberts/pmstack · Gstack for PMs. Eval Studio that you can plug-n-play anywhere.

pmstack 是一个面向产品经理的 AI 产品评测工具，通过 Eval Studio 让 PM 以客户视角阅读真实 trace，记录问题、归纳失败模式与成功模式，按阶段统计并转化为可复用的代码检查或 AI judge。项目提供网页版 Eval Studio、命令行工具以及供 Claude Code 等 agent 使用的技能，并强调 trace 与评审数据保留在本地、不自动上传。

展开详情收起详情

★ 8 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-26

# 安全测试编排 # C/C++# 模糊测试 # AFL++# LLM 代理

seclab-taskflows-fuzzing：面向 C/C++ 项目的 LLM 驱动自动化模糊测试流水线

GitHubSecurityLab/seclab-taskflows-fuzzing · An LLM-driven fuzzing pipeline powered by the GitHub Security Lab Taskflow Agent

该项目是 GitHub Security Lab Taskflow Agent 的模糊测试任务流，面向原生 C/C++ 项目提供 LLM 驱动的自主模糊测试流水线。它结合 AFL++ 执行、clang+lcov 覆盖率采集以及 LLM Agent，自动完成目标识别、构建系统分析、harness 编写与构建、覆盖率反馈迭代、崩溃去重与分类，并生成含可利用性判断和修复建议的可读漏洞报告，同时提供实时 HTML 仪表盘。

展开详情收起详情

★ 8 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-26

# prompt-engineering # calibration # ai-evaluation # 智能体评估 # agent-safety

SkillFoo V3.2 U1：在冻结评测与安全边界下受控演化 SKILL.md

azbigboss66-oss/skillfoo-v3 · Bounded, evidence-driven SKILL.md evolution under frozen evaluation and safety contracts.

SkillFoo 是一个本地实验性 CLI，用于在冻结评测合同、安全边界和可审计回滚机制下受控演化 AI Skill 的 SKILL.md。它把自然语言目标整理为可确认的 Task Card 与评测边界，冻结原始 B0 与生成的 S0，维护 Anchor/Elite/Diversity 进行多代变异与精修，并通过严格 JSON、确定性 verifier、五维最低线等非退化保护选出候选；若没有合格改进则保留起点。项目只优化 SKILL.md，不覆盖输入 Skill、不自动发布候选，Live 执行需配置 OpenAI-compatible Provider。

展开详情收起详情

★ 38 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-25

# ai-evals # reproducibility # 多模型支持 # code-review # 评测与安全

Code Review Cadre：用自有仓库历史基准评测多个 AI 代码审查器并组建互补审查阵容

VibeCodyH/code-review-cadre · Benchmark AI code reviewers on YOUR repo. Mines fix commits for answer keys, grades HIT/DEFER/MISS, and staffs a panel of models that fail in different places.

Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。

展开详情收起详情

★ 10 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-25

model-drift：面向多厂商 LLM 的公开回归追踪与漂移监控面板

egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.

model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。

展开详情收起详情

# LLM安全 # 基准测试 # reproducibility # 多模型支持 # 模型监控

★ 1 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-25

# 模型路由 # 本地LLM # benchmark # ai-evals # reproducibility

measure-twice：在自定义任务上横向评测本地模型与云模型并留存路由证据

aberson/measure-twice · Local benchmarking toolkit and mt CLI that sweeps suites across a model roster, scores them, and keeps an evidence ledger tying every model-routing claim to the run behind it.

measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。

展开详情收起详情

★ 1 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-25

# ai-evals # reproducibility # registry # agent-testing # 模型监控

egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽

egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer

该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。

展开详情收起详情

★ 0 · 资料合集

GitHub

原文发布：未知收录：2026-09-25

ISC2 2026 AI 代码评审工作坊：构建并加固本地 AI 代码评审流水线

cameronhopkin/isc2-2026-ai-code-review-workshop · Workshop materials for AI-augmented code review pipelines. ISC2 Security Congress 2026.

这是 ISC2 Security Congress 2026 为期两天动手工作坊的配套材料，面向希望在流水线中引入 LLM 辅助代码评审、又不希望把代码送给第三方厂商的安全工程师。项目提供参考实现与实验指南：AI 评审机器人接收 Bandit、detect-secrets 等扫描器输出的 SARIF 结果，经本地 Ollama 开源权重的 Qwen2.5-Coder 模型（默认 7B，另有 3B 小模型）分诊，输出带真实文件与行号引用的评审意见。内容涵盖模型本地部署、三种在代码层强制执行的防幻觉模式（强制引用、链式验证、宁可拒答）、CI/CD 集成、对机器人自身的攻击实验（提示注入、假阴性操纵、数据外泄、资源耗尽）以及企业级加固清单和自托管与商业方案的总体拥有成本模型。仓库同时包含刻意存在漏洞的 Flask 目标应用、提示词模板、评测工具和防御模式实现。

展开详情收起详情

# guardrails # LLM安全 # 提示注入 # 本地推理 # code-review

★ 0 · 资料合集

GitHub

原文发布：未知收录：2026-09-25

prism-bench：文本到图像推理数据集与基准评测资源

ada994/prism-bench · 🌐 Benchmark models using the PRISM framework and access the FLUX-Reason-6M dataset for improved AI performance evaluation.

prism-bench 是论文《FLUX-Reason-6M & PRISM-Bench: A Million-Scale Text-to-Image Reasoning Dataset and Comprehensive Benchmark》的官方资源仓库，提供百万级文本到图像推理数据集 FLUX-Reason-6M 和 PRISM 基准评测工具，用于评估和改进 AI 的文本到图像推理性能。README 主要描述如何从发布页下载运行应用，并列出数据集访问与基准分析等特性。

展开详情收起详情

# 数据集 # 多模态 # 基准测试 # 评测与安全 # 文本到图像

★ 0 · 资料合集

GitHub

原文发布：未知收录：2026-09-25

# OpenTelemetry # llm-observability # ai-evals # tracing # agent-testing

LangWatch：LLM 可观测性、评估与 Agent 测试平台

api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be

LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。

展开详情收起详情

★ 1 · 可直接使用的工具

GitHub

原文发布：未知收录：2026-09-24

# llm-evaluation # benchmark # ai-evals # finance # reproducibility

CapitalBench：面向 AI 模型资本配置决策的开放可审计测评基准

ishtiaqrahman/capitalbench · Open, auditable benchmark for AI capital-allocation decisions.

CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。

展开详情收起详情

★ 2 · 开发框架

GitHub

原文发布：未知收录：2026-09-24