ReviewBench：评估 AI 代码评审系统的开源可复现基准

review-bench/ReviewBench · ReviewBench is an open, reproducible benchmark for evaluating AI code review systems on real-world pull requests.

GitHub原文发布未知首次收录 2026-10-08上架 2026-10-13 07:06

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

ReviewBench 是一个开放、可复现的基准，用于在真实 GitHub Pull Request 上评估 AI 代码评审系统。它为每个 PR 提供经人工评审的金标准发现问题集合，将代理发现的问题与该参考集对比，衡量其识别有效问题并避免误报的可靠性，结果还可按严重程度和类别等维度查看。仓库包含 25 个 PR 的测试集、219 个 PR 的完整集、金标准发现、方法论文档、代理契约与示例适配器、本地测试脚本以及评审 CLI，允许评审工具厂商通过自助门户将其评审器接入排行榜。

# TypeScript # benchmark # reproducible-research # ai-evaluation # 代码评审

核心能力与快速开始

★ 32 · TypeScript

能做什么: 提供在真实 Pull Request 上评估 AI 代码评审系统的开放、可复现基准。为每个 PR 提供经人工评审的金标准发现问题集合作为真值，将代理发现问题与参考集比较以衡量其识别有用问题并避免误报的可靠性，并可按严重程度（High/Medium/Low）与类别（如正确性、可维护性、安全、性能、测试、文档、API 架构、可访问性、可靠性）维度探索结果。仓库包含 25 个任务的测试集和 219 个任务的完整集、各源仓库的镜像、方法论文档、严重度与类别标注的分类器提示与脚本、代理契约、Codex CLI 示例、本地测试脚本、自助注册流程与本地评审 CLI。
适用场景: 适合 AI 代码评审系统或评审代理的开发者与厂商，用统一 PR 集、统一专家发现和统一评审器对其评审代理进行本地验证、调优与大集评测，并申请进入 ReviewBench 排行榜；也适合需要按严重程度和问题类别对比评审结果的研究与评估工作。
项目形态: 可直接使用的工具
部署方式: 未说明
主要依赖: 本地测试脚本需要 docker、git 与 jq；本地评审流程使用 npm ci 安装依赖并需要相应提供商的 API Key 环境变量。提交需构建并推送镜像到 GitHub Container Registry，凭证经网站在 Azure Key Vault 存储。其他部署条件未说明。
使用限制: 测试集仅 25 个 PR，为小样本，测试集分数不代表排行榜分数；只有通过自助门户启动的最终评估才能发布到排行榜，本地运行与本地生成的指标仅用于开发；语料库当前不接受新的 pull request 提交；调优与反复评分由使用者自费承担评审代理推理和评审器推理的成本，仅最终提交的评审由基准方承担；官方评审当前使用 Claude Sonnet 5。
许可证: MIT
最近推送: 2026-10-08 04:59

官方入门核对 README 依据 ↗

资料检查：2026-10-08 07:00 · 卡片整理：2026-10-13 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可将自己的 AI 代码评审代理接入 ReviewBench，在真实 GitHub Pull Request 上评估其识别有效问题、避免误报的可靠性，并按严重程度和类别查看结果。

查看内容依据

ReviewBench compares an agent's findings with this reference set to measure how reliably it identifies useful issues while avoiding false positives. Results can also be explored by dimensions such as severity and category.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

AYORAI ATTRACTOR：面向 AI 答案的逐条声明证据核验引擎

AYORAI ATTRACTOR 是一个面向 AI 生成答案的可审计核验层：将答案拆解为单条 claim，与证据来源（含出处、偏移与溯源信息）关联，推导 stance（支持／矛盾／中立），再由**模型之外的确定性 Judge** 依据固定、带版本号的规则给出最终核验结论。结论状态包括 VERIFIED、SUPPORTED、PARTIALLY_SUPPORTED、UNVERIFIED、REFUTED、CONFLICTING；评估输入输出可用 SHA-256 做内容寻址以保证防篡改，并提供可复现的评测套件。当前领域为巴西电信监管（AnatEL RGC，标记 D10），项目自定位为研究与工程参考实现，明确声明不构成认证、法律意见或合规结论，评测数据为合成开发集且不构成生产泛化证据。

AgentTrust IQ：面向 AI Agent 的可靠性与评测平台

AgentTrust IQ 是一个模型无关的 AI Agent 可靠性与评测平台，在发布前对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查。它将可靠性检查转化为明确的 release、block 或 escalate 决策，并生成可回放的 JSONL 证据。默认工作流为确定性本地运行，可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，但基线工作流不依赖它。

MomentBench：语料级视频时刻检索基准

MomentBench 是由 Mixpeek 构建的语料级视频时刻检索评测基准，目标规模为 75 小时版权清晰视频与 500 条查询，覆盖四个难度层级。当前 v0.2 版本包含 27 个经哈希校验的视频资产，来自 Blender 开放电影、NASA 航空航天与 NASA 机器人三个领域，配套 620 条查询（457 条收录于仓库中）。项目提供查询分层定义、评测协议与评测指标（Recall@1/5、平均时间 IoU）、智能体评测赛道（模型通过 list_assets、search_transcript、read_transcript、sample_frames、submit_answer 等工具在预算内提交答案）、多模型适配器（Gemini、GPT、Claude、TwelveLabs、Qwen-VL、E5-Omni、CLIP 等）、污染控制机制（canary 字符串与 public/held_out/rolling 划分）以及结果提交与自建语料运行流程。

PortfolioPilot AI：用 AI 生成并定制开发者作品集

PortfolioPilot AI 是一个面向开发者的 AI 作品集构建器，可将个人资料、技能与项目整理为可定制的作品集页面。它提供五种设计风格、编辑时实时预览、基于 Ollama 的内容生成与分区重写、作品集质量分析、PDF 简历导入、招聘者视角展示、本地草稿管理和 ZIP 导出。前端使用 React+TypeScript+Vite，后端为 Python FastAPI，AI 功能依赖可访问的 Ollama 服务器与配置的模型。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。