本文へ移動
原文
GitHub Blog · AI & ML· Michelle Zhou·· 11 日前

GitHub、AIコードレビュー向けのオープンベンチマーク「ReviewBench」を公開

ReviewBench: An open benchmark for AI code review

AI による要約

GitHubは、AIコードレビューエージェント向けのオープンなオフラインベンチマーク「ReviewBench」を公開した。1億390万件のGitHub pull requestの分布に基づいて構築され、187のオープンソースリポジトリ、19言語にわたる219件のpull requestを含む。

入選の記録

入選せず二回の合計 116 < 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:AI代码审查基准与评测方法

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:GitHub Blog · AI & ML · github.blog