评测与安全AI 资源

Code Review Cadre：用自有仓库历史基准评测多个 AI 代码审查器并组建互补审查阵容

VibeCodyH/code-review-cadre · Benchmark AI code reviewers on YOUR repo. Mines fix commits for answer keys, grades HIT/DEFER/MISS, and staffs a panel of models that fail in different places.

GitHub原文发布未知首次收录 2026-09-25上架 2026-09-25 12:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。

# ai-evals # reproducibility # 多模型支持 # code-review # 评测与安全

核心能力与快速开始

★ 10 · Shell

能做什么: 从 git 历史中挖掘真实的（破坏→修复）提交对，并只保留修复同时改动测试的配对，形成基于实际修复内容的答案键；用 HIT / DEFER / MISS 三档对审查结果打分，对阻断性问题的 DEFER 直接取消候选资格；运行 `cadre panel` 输出覆盖矩阵，指出阵容中无人覆盖的缺陷项；通过每个 CLI 一个适配器文件接入任意审查器，多提供商 CLI 上的任意模型无需额外代码即可作为候选；支持双评审器并行打分，分歧项标记为 UNRESOLVED 并输出评分区间；带输入锁（cadre.lock.json）与凭证预检等防止答案泄漏的机制；可选 `--verify` 模式在目标与仅回滚源码的两个副本上各跑一次测试来验证配对。
适用场景: 在自有代码库上评测和比较多个 AI 代码审查器/编码 Agent CLI 的实际缺陷发现能力；挑选失败点互补的审查器组合，而不是只看单一得分最高的模型；借助免费模型或本地 Ollama 作为评审器，在无付费订阅的情况下搭建审查基准；用 UNRESOLVED 分歧定位答案键中评分边界不清晰或措辞含糊的条目并加以修正；在评判多个付费审查器时识别哪些是同一模型家族下的重复意见。
项目形态: 可直接使用的工具
部署方式: 本地命令行运行（Shell）。需 git clone 仓库并把 bin 目录加入 PATH，通过 `cadre doctor` / `cadre setup` / `cadre run` / `cadre panel` 等命令使用。可接本地 Ollama（OpenAI 兼容端点）实现全本地评审。其它部署条件未说明。
主要依赖: 需要 git、jq、awk、GNU coreutils、bash 4.4+、Python 3（用于基准输入锁），以及至少两个 Agent CLI（一个审查、一个评判），两者都不必付费。可选的 `--verify` 验证会执行仓库代码且无沙箱，默认关闭，可通过 CADRE_VERIFY_PAIRS=1 启用；相关超时、工作目录等可由 CADRE_WORK、CADRE_TEST_CMD、CADRE_VERIFY_TIMEOUT 等环境变量控制。硬件要求未说明（README 仅提到在 12GB RTX 3060 上以 qwen3:14b 本地评测的耗时）。
使用限制: make-pass 生成的答案键草稿必须由人工阅读并删除标记后才能注册，这一步不可自动化；挖掘出的配对需修复同时触及测试才保留，真实仓库中的原始产出大多被过滤掉；验证模式默认关闭，且未能在两次运行中确立差异的行会保持 unverified，单次绿/红不能证明套件无 flaky 或缺陷确由被指责目标引入；双评审器分歧不设裁决，会标记 UNRESOLVED 而非给出单一分数；CodeRabbit 无法充当评审器（自带审查契约、不接受 prompt）；README 中引用的公开测量与配对研究均为他人 preprint/论文，本项目不继承也不复现其数据。部署、硬件与成本限制未说明。
许可证: MIT
最近推送: 2026-09-24 08:54

官方入门核对 README 依据 ↗

资料检查：2026-09-25 07:00 · 卡片整理：2026-09-25 12:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

public-skills：面向编码智能体（Claude Code 等）的可复用技能集合

这是一个以插件市场形式分发的、面向编码智能体的可复用技能（skill）集合。技能按主题分组为 hardware-lab（USB 抓包与协议逆向、台式仪器）、driver-porting（净室驱动规格与板卡专家，另见 driver-lab 仓库）、agent-workflow（与编码智能体长期协作：设计伙伴、项目规划、交接、会话学习等）、dev-tools（工程实用工具）等插件，并提供 everything 聚合插件。每个技能是 plugins/<theme>/skills/<name>/ 下的目录，含 SKILL.md 及脚本、参考或模板，遵循 Agent Skills 约定，可通过 Claude Code、Codex、Antigravity 或扫描 SKILL.md 目录的安装器（如 Vercel skills CLI）安装。

AI Code Reviewer：基于 OpenAI/Anthropic 的流式 AI 代码审查工具

AI Code Reviewer 是一个可自行提供 OpenAI 或 Anthropic API key 的 AI 代码审查工具，支持 GPT-4o 与 Claude Sonnet 之间的切换，提供通用、安全、性能、缺陷检测四种审查类型，覆盖 19 种编程语言，并以流式输出配合 markdown 渲染实时展示逐条审查意见。项目基于 Next.js 16 与 Vercel AI SDK 构建，支持语法高亮和最近 50 条审查记录的本地历史保存，同时包含 GitHub App PR 审查任务与演示模式。

disensor：对抗式跨模型 AI 代码审查与残留声明的 CLI 与 CI 门禁

disensor 是一个 Python CLI 与 GitHub Action，用于实现“受控分歧”（controlled disagreement）方法的对抗式跨模型 AI 代码审查：一个模型生成、另一模型族攻击、生成方逐条核验，循环以每条发现被解决、以证据反驳或升级给人收尾。其核心产物是 JSON 残留声明（residue declaration），记录每轮审查事件如何结束，包括各发现的终结状态以及本轮无法自行闭合、需依赖人判断的“残留”，并配套 JSON Schema（residue/v0.4）、校验规则 R0–R13、CI 门禁检查 G1–G9、PR 评论渲染、自包含 HTML 残留报告、仓库脚手架与填充指南。工具提供 round 编排、reviewer 注册与离线探测、prompt 与 pack 打包、validate 与 gate 本地复现 CI 判定等子命令。

skills：为 GitHub Copilot CLI 等编码 Agent 提供可复用技能的工作流集合

这是一个面向 GitHub Copilot CLI、Claude Code 和 Codex CLI 的可复用 Agent 技能库，覆盖需求调研（scout）、设计文档、原型、开发循环、独立双模型审查、视觉验证、无人值守长任务、会话交接与邮箱通信、技能创作与评测等环节，帮助编码 Agent 规划任务、保持长任务不跑偏、验证真实行为并保留上下文。仓库附带 session-control 与 mailbox-watcher 扩展，用于多会话通信与本地文件系统 IPC。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。