GitHub Blog · AI & ML· Michelle Zhou·· 11 天前
GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
ReviewBench: An open benchmark for AI code review
AI 导读
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
入选记录
门槛 60官方一手第一次 58第二次 58
未入选两次之和 116 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：AI代码审查基准与评测方法
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：GitHub Blog · AI & ML · github.blog