← 返回列表
评测与安全工具

Code Review Bench：开源 AI 代码审查工具评测基准

withmartian/code-review-benchmark

GitHub原文发布 未知首次收录 2026-10-08上架 2026-10-08 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目提供评估 AI 代码审查工具的开源基准，包含数据集、LLM 评委和完整流水线。离线基准使用来自 Sentry、Grafana、Cal.com、Discourse、Keycloak 五个开源项目的 50 个 PR 与人工核验的 173 条 golden comments；在线基准持续从 GitHub 采样近期真实 PR，通过 LLM 三步分析提取机器人建议与开发者实际修复并做匹配，输出精确率与召回率。支持按类别评分配置（Strict/Core/All）与 F-beta 权重，并附交互式仪表盘，可复现结果或评测自有工具。
# llm-as-judge# AI 代码审查# benchmarking# data-pipeline# 评测框架

核心能力与快速开始

★ 284 · Python

能做什么
提供离线与在线两套 AI 代码审查评测基准。离线基准：5 个开源项目的 50 个 PR、173 条人工核验 golden comments，按严重度（Low/Medium/High/Critical）和类别标签（bug、security、concurrency、data、api、perf、test_gap、doc_defect、style、speculative）组织；使用 Claude Opus 4.5、GPT-5.2、Claude Sonnet 4.5 三个评委模型按「是否描述同一底层问题」匹配工具评论；支持 Strict/Core/All 类别评分配置与 F-beta（0.5–3.0）权重调节精确率/召回率偏好。在线基准：通过 GitHub Search API 发现已合并的机器人评审 PR，再用 GitHub API 丰富上下文、LLM 三步分析（提取机器人建议、提取人工修复动作、评委匹配），计算每 PR 的精确率与召回率；含 Streamlit 仪表盘与 Rust API + 内嵌 HTML 仪表盘，支持按语言、领域、PR 类型、严重度、diff 大小、互动信号等筛选并跟踪长期表现。仓库开源 PR、golden comments、评委提示词与评测流水线。
适用场景
复现项目公开的代码审查工具排行榜结果；用同一数据集横向对比不同 AI 代码审查工具（如 CodeRabbit、GitHub Copilot、Cursor Bugbot 等）；将自有工具加入基准进行评测（fork 50 个 benchmark PR、触发工具、运行流水线）；通过在线基准避免静态数据集训练数据泄漏，观察工具在真实近期 PR 上的实际表现；按类别与 F-beta 权重定制评分口径；贡献新的 golden comments、评委提示词或数据集。
项目形态
开发框架
部署方式
离线与在线流水线均通过 uv sync 安装依赖并在本地运行命令行步骤（离线：step1_download_prs → step2_extract_comments → step2_5_dedup_candidates → step3_judge_comments；在线：discover → enrich → analyze → dashboard）。在线部分需配置 GitHub token、GCP 项目与 LLM API key，数据库支持 SQLite 与 PostgreSQL，仪表盘可用 Streamlit 或 Rust API 提供。
主要依赖
Python 环境与 uv；需要 GitHub token 与 LLM API key，在线部分还需 GCP 项目；离线测试套件无需网络访问。
使用限制
静态离线数据集存在训练数据泄漏风险；评委模型之间存在评分差异，项目通过分别存储每个评委模型结果并标注所用模型来缓解；进入公开排行榜需满足额外收录标准（约至少 600–1,000 条公开评审 PR、评审需可归因于工具），否则只能自行运行并发布结果。
许可证
MIT
最近推送
2026-09-16 07:40
官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-08 07:00 · 卡片整理：2026-10-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可用该开源基准评测 AI 代码审查工具：离线基准用 50 个 PR 与 173 条人工核验的 golden comments，通过 LLM 评委匹配工具评论，输出精确率与召回率；也可按文档将自有工具加入评测（fork 基准 PR、触发工具、运行流水线），并查看交互式仪表盘结果。

查看内容依据
Open-source [benchmark](https://codereview.withmartian.com) for evaluating AI code review tools — the datasets, the judge, and the pipeline code. Reproduce our results or evaluate your own tool.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

MergeJudge：基于 AI 的 GitHub 拉取请求自动审查与分流工具

MergeJudge 是开源的 GitHub Action 与 runner，用于对拉取请求进行 AI 审查并按 auto、review、block 三个等级分流。它先使用确定性规则确定最低等级，默认只允许 AI 使等级更严格；它会读取仓库基分支上的 AGENTS.md、REVIEW_POLICY.md 和 .mergejudge.yml，因此拉取请求无法放宽自己的审查标准。用户需自备 Anthropic、OpenAI、z.ai 或任意 OpenAI 兼容端点的 API key，也可选择仅使用规则而不调用 AI。项目支持 deep 模式来补充变更代码的调用方与相关文件、根据 PR 上的反馈学习规则，并通过定时任务生成供人工审核合并的规则提案 PR。

ai-data-evaluation：基于评分量规的 LLM 输出评测与偏好数据流水线

该项目提供一条面向 LLM 输出的完整评测流水线：手写标注的黄金集（golden set）、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验，以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度，量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度，每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。

RAGeval：多评委共识的 RAG 管线评测与可观测性工具

RAGeval 是一个自托管的 LLMOps 评测与可观测性库，面向 RAG 管线。它提供多评委共识评分与分歧告警、检索相关性、忠实度、成本与时延等指标，并支持 FastAPI、LangChain 等框架的装饰器方式接入。项目包含仪表盘用于查看实时共识遥测、查询日志、成本报告和告警。

rag-eval-lab：零依赖 RAG 流水线与确定性幻觉评测工具

一个纯 Python 标准库实现的 RAG 参考项目，覆盖 ingest→chunk→embed→store→retrieve→answer 全流程，并配有确定性评测框架（precision@k、recall@k、citation、faithfulness）。其核心价值在于用闭式指标（非 LLM 评判）检测幻觉：预埋的幻觉样例会被 faithfulness 指标标记，并由 CI 持续验证。支持 bm25、hybrid、reranker 等可插拔检索策略，并在 SciFact 基准上给出实测对比；可选接入 OpenAI 嵌入/回答与 Postgres+pgvector 存储后端。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。