开源项目
limengge426/llm-syllogism · AAAI 2026 Bridge · Do LLMs reason or pattern-match? 11,000 WordNet syllogisms across all 44 forms reveal shared biases in GPT-4o, Gemini, LLaMA, Qwen and DeepSeek.
该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。
展开详情收起详情：llm-syllogism：用 11000 条 WordNet 三段论评测大模型逻辑推理偏差⌄
★ 21 · 研究实现
原文发布：未知收录：2026-09-28
工具
b7n0de/proofbundle · Portable evidence for AI work, verifiable offline. Integrity, not truth
proofbundle 是一个 Python 工具与回执格式，用于把 AI 评测、审查、决策或动作转化为单个可移植回执文件，支持离线验证与显式策略检查。它可证明内容由哪个密钥签名、签名内容是否被改动、所附证明与策略检查是否通过，但明确不判断所报告结果是否真实、工作是否正确或完整。核心支持签名回执与 Merkle 包含证明，并提供评测回执、选择性披露、决策回执、Inspect AI 集成、RFC 3161/OpenTimestamps 锚定、ML-DSA-44 见证共签名等可选能力，各特性成熟度不一。
展开详情收起详情：proofbundle：为 AI 工作产出可离线验证的可移植证据回执⌄
程序员在 AI 评测、审查或决策流程中生成可离线验证的签名回执，用于证明内容由哪个密钥签名、签名内容是否被改动、所附证明与策略检查是否通过；也可通过 Inspect AI 集成把回执加入 AI 评测工作流。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-09-27
工具
nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)
τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。
展开详情收起详情：τ-Rec：面向智能体对话式推荐系统的可验证基准⌄
程序员作为可复现的评测基准，用于测试和比较基于 LLM 的对话式推荐智能体：运行 tau-rec run 让被测智能体与模拟用户多轮对话、调用目录工具，并按约束谓词和策略标志程序化打分，输出 pass^k 指标与轨迹，便于开发者评估智能体的工具调用与策略遵循能力。
产品经理用于评估对话式推荐产品的智能体表现：基准包含 60 个横跨复杂度与信息透露难度的任务、带 reveal 标签的用户模拟和策略合规评分，可据此分析推荐智能体在约束满足、策略遵循和一致性（pass^k）方面的表现。
★ 3 · 开发框架
原文发布：未知收录：2026-09-27
工具
Mattbusel/llm-bench · CLI that benchmarks LLM APIs: run your prompts concurrently against OpenAI and Anthropic models and compare p50/p99 latency, tokens per second, cost and success rate as a table or JSON.
llm-bench 是一个用 Rust 编写的命令行工具，把同一批提示词并发发送给多个模型（OpenAI、Anthropic，以及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），并以表格或 JSON 输出 p50/p99 延迟、每秒 token 数、单次与总成本、成功率等指标，帮助使用者在真实网络和自己提示词条件下比较不同模型的快慢与费用。内置价格表可用 llm-bench models 查看，非流式请求且不单独测量首 token 时间。
展开详情收起详情：llm-bench：并发压测 LLM API 并对比延迟、吞吐与成本⌄
程序员在开发或选型 LLM 应用时，用同一批提示词并发压测多个模型（OpenAI、Anthropic 及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），对比 p50/p99 延迟、每秒 token 数、单次与总成本、成功率，从而为项目选择更快或更便宜的模型。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-09-27
开源项目
nedcut/gm-bench · A deterministic sports general-manager benchmark for evaluating long-horizon LLM planning, tool use, and decision quality.
GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。
展开详情收起详情：GM-Bench：评估大语言模型长程规划与决策能力的体育总经理基准⌄
★ 1 · 研究实现
原文发布：未知收录：2026-09-26
工具
RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.
Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。
展开详情收起详情：Agent Evaluation：面向 LLM Agent 的统计回归测试工具⌄
程序员在 CI 中对 LLM Agent 的两个版本各运行多次，用 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间判断行为变化是真实回归还是运行噪声，并通过 RegressionGate、assert_stable 或 --fail-on-regression 在检测到回归时阻断构建。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-09-26
综合合集
RyanAlberts/pmstack · Gstack for PMs. Eval Studio that you can plug-n-play anywhere.
pmstack 是一个面向产品经理的 AI 产品评测工具，通过 Eval Studio 让 PM 以客户视角阅读真实 trace，记录问题、归纳失败模式与成功模式，按阶段统计并转化为可复用的代码检查或 AI judge。项目提供网页版 Eval Studio、命令行工具以及供 Claude Code 等 agent 使用的技能，并强调 trace 与评审数据保留在本地、不自动上传。
展开详情收起详情：pmstack：面向产品经理的 AI 产品失败模式发现与评测工具⌄
程序员程序员可使用命令行工具对 trace 运行代码检查、计算检查与标签的一致率、运行 AI judge、检查工具调用是否符合公司策略，并生成报告与回归集交给工程使用。
产品经理产品经理可用 Eval Studio 以客户视角阅读真实 trace，标记 Good/Problem 并记录问题，将笔记归纳为失败模式与成功模式，按阶段统计漏斗，并把关键失败模式转化为代码检查或 AI judge，用于 AI 产品的评测与迭代。
★ 8 · 可直接使用的工具
原文发布：未知收录：2026-09-26
工作流
GitHubSecurityLab/seclab-taskflows-fuzzing · An LLM-driven fuzzing pipeline powered by the GitHub Security Lab Taskflow Agent
该项目是 GitHub Security Lab Taskflow Agent 的模糊测试任务流，面向原生 C/C++ 项目提供 LLM 驱动的自主模糊测试流水线。它结合 AFL++ 执行、clang+lcov 覆盖率采集以及 LLM Agent，自动完成目标识别、构建系统分析、harness 编写与构建、覆盖率反馈迭代、崩溃去重与分类，并生成含可利用性判断和修复建议的可读漏洞报告，同时提供实时 HTML 仪表盘。
展开详情收起详情：seclab-taskflows-fuzzing：面向 C/C++ 项目的 LLM 驱动自动化模糊测试流水线⌄
程序员对原生 C/C++ 项目进行自动化模糊测试：给定 GitHub 仓库后，自动识别模糊测试目标、分析构建系统、编写并构建 harness、执行 AFL++ 模糊测试与覆盖率反馈迭代、对崩溃进行去重分类，并生成含可利用性判断和修复建议的漏洞报告，帮助程序员发现和修复安全漏洞。
★ 8 · 可直接使用的工具
原文发布：未知收录：2026-09-26
工具
azbigboss66-oss/skillfoo-v3 · Bounded, evidence-driven SKILL.md evolution under frozen evaluation and safety contracts.
SkillFoo 是一个本地实验性 CLI，用于在冻结评测合同、安全边界和可审计回滚机制下受控演化 AI Skill 的 SKILL.md。它把自然语言目标整理为可确认的 Task Card 与评测边界，冻结原始 B0 与生成的 S0，维护 Anchor/Elite/Diversity 进行多代变异与精修，并通过严格 JSON、确定性 verifier、五维最低线等非退化保护选出候选；若没有合格改进则保留起点。项目只优化 SKILL.md，不覆盖输入 Skill、不自动发布候选，Live 执行需配置 OpenAI-compatible Provider。
展开详情收起详情：SkillFoo V3.2 U1：在冻结评测与安全边界下受控演化 SKILL.md⌄
程序员使用 SkillFoo 本地 CLI 在冻结评测合同与安全边界下受控演化 AI Skill 的 SKILL.md，通过多代变异与精修生成候选，并依据确定性 verifier 与五维最低线等非退化保护选择候选或保留起点，用于改进 AI 技能指令。
★ 38 · 可直接使用的工具
原文发布：未知收录：2026-09-25
开源项目
VibeCodyH/code-review-cadre · Benchmark AI code reviewers on YOUR repo. Mines fix commits for answer keys, grades HIT/DEFER/MISS, and staffs a panel of models that fail in different places.
Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。
展开详情收起详情：Code Review Cadre：用自有仓库历史基准评测多个 AI 代码审查器并组建互补审查阵容⌄
★ 10 · 可直接使用的工具
原文发布：未知收录：2026-09-25
工具
egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.
model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。
展开详情收起详情：model-drift：面向多厂商 LLM 的公开回归追踪与漂移监控面板⌄
程序员作为 LLM 可观测性工具，程序员可用它定期对多个厂商的模型运行冻结评测套件，追踪准确率、延迟、冗长度、可靠率和拒答率随时间的变化，从而发现模型被静默更新后的质量漂移；也可用确定性评分机制（精确匹配、子串、正则或数值比较）对模型输出做回归测试。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-09-25
开源项目
aberson/measure-twice · Local benchmarking toolkit and mt CLI that sweeps suites across a model roster, scores them, and keeps an evidence ledger tying every model-routing claim to the run behind it.
measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。
展开详情收起详情：measure-twice：在自定义任务上横向评测本地模型与云模型并留存路由证据⌄
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-09-25
综合合集
egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer
该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。
展开详情收起详情：egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽⌄
程序员作为 AI 评测与测试工程师的工作系统枢纽，该仓库汇总了用于 LLM 回归探测、可验证评测（能力契约与可重放证据包）、确定性评分引擎、RAG 评测、LLM 网关、MCP 服务器和 LangGraph 代理等的小型仓库，并给出各仓库之间的真实数据流，程序员可据此参考或复用这些评测、测试与 CI 门禁工具。
★ 0 · 资料合集
原文发布：未知收录：2026-09-25
工作流
cameronhopkin/isc2-2026-ai-code-review-workshop · Workshop materials for AI-augmented code review pipelines. ISC2 Security Congress 2026.
这是 ISC2 Security Congress 2026 为期两天动手工作坊的配套材料，面向希望在流水线中引入 LLM 辅助代码评审、又不希望把代码送给第三方厂商的安全工程师。项目提供参考实现与实验指南：AI 评审机器人接收 Bandit、detect-secrets 等扫描器输出的 SARIF 结果，经本地 Ollama 开源权重的 Qwen2.5-Coder 模型（默认 7B，另有 3B 小模型）分诊，输出带真实文件与行号引用的评审意见。内容涵盖模型本地部署、三种在代码层强制执行的防幻觉模式（强制引用、链式验证、宁可拒答）、CI/CD 集成、对机器人自身的攻击实验（提示注入、假阴性操纵、数据外泄、资源耗尽）以及企业级加固清单和自托管与商业方案的总体拥有成本模型。仓库同时包含刻意存在漏洞的 Flask 目标应用、提示词模板、评测工具和防御模式实现。
展开详情收起详情：ISC2 2026 AI 代码评审工作坊：构建并加固本地 AI 代码评审流水线⌄
程序员在本地或 CI 流水线中引入 LLM 辅助代码评审：接收 Bandit、detect-secrets 等扫描器输出的 SARIF 结果，经本地 Ollama 的 Qwen2.5-Coder 模型分诊，输出带真实文件与行号引用的评审意见；并可通过三种防幻觉模式（强制引用、链式验证、宁可拒答）加固评审机器人。
★ 0 · 资料合集
原文发布：未知收录：2026-09-25
开源项目
ada994/prism-bench · 🌐 Benchmark models using the PRISM framework and access the FLUX-Reason-6M dataset for improved AI performance evaluation.
prism-bench 是论文《FLUX-Reason-6M & PRISM-Bench: A Million-Scale Text-to-Image Reasoning Dataset and Comprehensive Benchmark》的官方资源仓库，提供百万级文本到图像推理数据集 FLUX-Reason-6M 和 PRISM 基准评测工具，用于评估和改进 AI 的文本到图像推理性能。README 主要描述如何从发布页下载运行应用，并列出数据集访问与基准分析等特性。
展开详情收起详情：prism-bench：文本到图像推理数据集与基准评测资源⌄
★ 0 · 资料合集
原文发布：未知收录：2026-09-25
工具
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
展开详情收起详情：LangWatch：LLM 可观测性、评估与 Agent 测试平台⌄
程序员对 LLM 应用进行埋点观测与调试：通过 OpenTelemetry 原生 tracing 采集 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等应用的 trace，并使用 Traces API 搜索、检索、分享 trace；同时可运行实时与批量评估、管理带标注数据集、对 Agent 进行多轮对话模拟测试。
产品经理借助协作标注与标注工作流对 trace 进行人工标注和分级，产出用于评估与微调数据集的示例；并通过 Analytics API 查看 traces、tokens、成本、延迟与评估分数的时序分析，用于产品数据分析。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-09-24
开源项目
ishtiaqrahman/capitalbench · Open, auditable benchmark for AI capital-allocation decisions.
CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。
展开详情收起详情：CapitalBench：面向 AI 模型资本配置决策的开放可审计测评基准⌄
★ 2 · 开发框架
原文发布：未知收录：2026-09-24
工具
adimalkar/multimodal-fraud-detector · Multi-agent AI pipeline that detects generative-AI fraud in insurance claims across images, PDFs, and video. A "Jury System" of Qwen-VL vision analysis plus DeepSeek-R1/Qwen/GLM critic agents with majority voting — dashcam-aware, batch-capable, Streamlit UI.
该项目是一个面向保险理赔场景的多智能体 AI 流水线，用于识别图像、PDF 文档和视频中的生成式 AI 伪造内容。其核心是“陪审团系统”架构：由 Qwen-VL-Plus 视觉智能体做取证分析，再把结论交给 Qwen Turbo、DeepSeek R1、GLM 4.6 等评论智能体独立评估并多数投票。功能包括多模态输入（视频通过抽帧）、针对行车记录仪的运动模糊与 AI 平滑伪影区分协议、基于 SQLite 的批量处理，以及 Streamlit 交互式仪表盘。
展开详情收起详情：multimodal-fraud-detector：多智能体多模态保险理赔欺诈检测流水线⌄
程序员作为可复用的多智能体多模态检测流水线代码库，程序员可参考其“陪审团系统”架构（Qwen-VL-Plus 视觉智能体 + Qwen Turbo/DeepSeek R1/GLM 4.6 评论智能体多数投票）、SQLite 批量处理与 Streamlit 仪表盘实现，用于构建或集成图像、PDF、视频的 AI 伪造检测功能。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-09-24
工具
okht/eval-pi · 面向 AI 产品经理，一句话完成 Agent 的评测与调优。
EvalPi 是一个面向 AI 产品经理的工具，目标是让用户结合 PRD 与评测标准，用一句话完成 Agent 的评测、问题分析、调优与效果验证。README 未提供安装方式、部署环境、依赖条件或使用限制等信息。
展开详情收起详情：EvalPi：面向 AI 产品经理的一句话 Agent 评测与调优工具⌄
产品经理结合 PRD 与评测标准，用一句话完成 Agent 的评测、问题分析、调优与效果验证。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-09-24
工具
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
展开详情收起详情：harness-evals：面向 LLM Agent、提示词与结构化输出的开源 AI 评测框架⌄
程序员程序员可用 harness-evals 评测 LLM Agent、提示词与结构化输出：通过 YAML 配置的 CLI 或 run_eval() 一行调用运行评测，使用 ExactMatch、JsonDiff、SchemaValidation、ToolCorrectness 等指标对 Agent 输出、JSON/YAML 结构化输出和工具调用进行打分，并配合 pytest 与 CI 使用（assert_test() 失败时抛出 AssertionError），还可通过基线对比检测回归。
产品经理产品经理可用 harness-evals 对 LLM Agent 与提示词进行评测：按正确性、有据性、安全性、轨迹和性能五个维度组织指标，每个指标输出 0.0–1.0 的归一化 Score 并按可配置阈值判定通过与失败，从而判断 Agent 在哪些方面强、哪些方面弱。
★ 28 · 开发框架
原文发布：未知收录：2026-09-23