Copilot 在 GitHub 自家 AI 代码审查基准测试中登顶，但独立测试结果却另有说法
这件事讲了什么
GitHub 和微软一起做了一个叫 ReviewBench 的测试，用来比一比各家 AI 代码审查工具谁更会挑毛病。测试方法是从 GitHub 上真实代码改动的记录里提炼出“应该被发现的”问题，再看各家工具能找出多少。结果 GitHub 自家的 Copilot 排第一，但因为测试是 GitHub 自己做的，而且不同工具测试时间差了好几个月，所以这个成绩要打个折扣。在另一家独立机构 Martian 做的测试里，Copilot 只排第四或第五，冠军分别是 Cubic 和 Qodo Deep。这说明同一款产品在不同测试里名次差别很大，结论不能只看一家。
可以使用的工具
文中可用工具
- GitHub Copilot code reviewGitHub 自家 AI 代码审查工具，在自家 ReviewBench 测试中排名第一，但在独立 Martian 测试中排名靠后
- ReviewBenchGitHub 与微软合作开发的开放基准测试，用于评估 AI 代码审查工具在 pull request 中发现问题能力
- Code Review BenchAI 研究公司 Martian 推出的独立代码审查基准测试，包含离线测试和基于真实开源仓库的在线追踪
- Qodo提供 AI 辅助代码审查的产品，在 Martian 离线排行榜中排名第一
- Greptile提供 AI 辅助代码审查的产品，在 Martian 在线排行榜中排名第二
- Cubic提供 AI 辅助代码审查的产品，在 Martian 在线排行榜中排名第一
- Devin提供 AI 辅助代码审查的产品
- Cursor提供 AI 辅助代码审查的产品
- CodeRabbitAI 代码审查工具，在 Martian 在线排行榜中排名第三
- Claude Sonnet 5用于 ReviewBench 中对审查发现进行分类
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。