本文へ移動

#評価・ベンチマーク

今日 0 件

11月14日

土曜日
  1. XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク

    Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。

11月8日

日曜日
  1. アリババなどのチームがCo-Design Benchを公開、コーディングエージェントはタスクの約4分の1しか完全にこなせず

    アリババとアジアの複数大学の研究者が、実際のユーザーの変更リクエストからコーディングエージェント向けベンチマーク「Co-Design Bench」を構築した。エージェントは画像・音声・動画・文書などを入力として、既存のWebアプリを改修することが求められる。

  2. Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける

    Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。

11月7日

土曜日

11月6日

金曜日
  1. SemiAnalysisがGDPxベンチマークを公開、AIエージェントの最高得点は12%未満

    SemiAnalysisがGDPxベンチマークを公開した。AIエージェントを模擬的な知識労働環境に置くもので、チップ設計、生物、クオンツ取引、サイバーセキュリティ、法律など11分野にわたる206タスクを課すが、総合スコアが12%を超えたモデルはない。

11月5日

木曜日
  1. オープンソースベンチマーク CloudOpsBench 公開:AI クラウド運用の最大のボトルネックは推論

    ミシガン大学の Ang Chen 氏率いるチームが、AWS のクラウド運用タスク 45 件を含むオープンソースベンチマーク CloudOpsBench 1.0 を公開した。タスクは経験豊富な DevOps エンジニアが設計した。最高成績の Claude Fable 5.1 でも完了率は 60%、GPT-6 Astra は 53% で、全タスクを完了できるモデルはなかった。

11月4日

水曜日
  1. スタンフォード大の研究:LLMの結論の44%が失効、平均寿命は15.7カ月

    スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。

11月3日

火曜日

10月28日

水曜日
  1. Ai2研究:LLMは研究アイデアの新規性を信頼できる形で判断できるか

    Ai2は研究「Old Ideas, Novel Problems」を公開し、大規模言語モデルが科学研究アイデアの新規性を判断する信頼性を検証した。併せてベンチマーク、データ、コードをオープンソース化した。研究ではICLR 2026の査読意見に基づき、新規性の高い人間のアイデア154件と低い145件からなるプールを構築し、さらにLLMが生成したアイデア154件を用意した。

10月24日

土曜日
  1. 複雑なフレームワークはコーディングエージェントを強くせず高くつくだけ、研究で判明

    Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。

10月21日

水曜日

10月18日

日曜日

10月15日

木曜日

10月12日

月曜日
  1. AIエージェントのチームは大量のトークンを消費するが品質はほとんど向上しないとの研究結果

    評価会社Vals AIがVibe Code BenchでGPT-6 SolとClaude Opus 5.5をテストした。単一エージェントとチームの両形式で、mediumとmaximumの2段階の推論強度で実行したところ、チームのコストは単一エージェントの1.8倍から5.1倍だった。

10月6日

火曜日
  1. Qwen3.8 27B、英単語で足し算を行うベンチマーク

    推論を無効化した5,070件のケースを用いたベンチマークで、ローカルのQwen3.8-27B-Q4_K_M.ggufモデルが正の整数の足し算を英単語だけで行い、正確な結果を出力できるかを検証した。数値の正確率は23.57%、形式遵守率は96.17%。正確率は桁数が増えるにつれ、1〜3桁の97.04%から10〜13桁の6.44%へと低下した。中程度の推論を有効にすると、169件のペアテストで167件正解した。

  2. GitHub、AIコードレビュー向けのオープンベンチマーク「ReviewBench」を公開

    GitHubは、AIコードレビューエージェント向けのオープンなオフラインベンチマーク「ReviewBench」を公開した。1億390万件のGitHub pull requestの分布に基づいて構築され、187のオープンソースリポジトリ、19言語にわたる219件のpull requestを含む。

10月3日

土曜日
  1. AI エージェントが写真から 3D シーンを生成、ただし正誤の判断はできない

    研究チームは Image-to-Code 手法を提案し、コーディングエージェントが 1 枚の写真から実行可能な Blender プログラムを書き、シーンが元画像と一致するまで反復修正する。評価のためチームは LEGO-Bench を構築し、屋内・屋外 104 シーンの 208 枚の画像と 443 の登録アセットを含み、有効性・幾何精度・外観類似度の 3 点で採点する。

10月2日

金曜日
  1. Mercor の研究:AI は記帳タスクで資格を持つ会計士より速く正確だが、依然として単独で決算を締められず

    Mercor の研究では、平均実務経験 5 年半の公認会計士 12 名が APEX Accounting Benchmark の簡略化タスクを実施。その結果、AI モデルは構造化された記帳タスクで会計士より速く、正確で、コストも低いことが示された。

9月30日

水曜日
  1. Hugging Face、多言語 TTS と音声クローンの拡張可能な評価基盤 Open TTS Leaderboard を公開

    Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。

9月23日

水曜日

9月22日

火曜日

9月2日

水曜日
  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月28日

金曜日

8月24日

月曜日
  1. Import AI 470:機械に権利は不要、SPADE の訓練環境生成、Hawkeye の GPU カーネル

    METR の研究では、AI の科学的発見への影響は一様でない。2026年の脆弱性報告は2025年より大幅に速く、数学はわずかな加速にとどまり、AI 研究自体のアルゴリズム進歩には有意な加速がない。複数大学のチームは LLM が実行可能な訓練環境の生成と解法を交互に行う SPADE を提案した。Qwen3-30B-A3B のゲーム環境平均点は58.3で、基準より8.1上がった。

8月21日

金曜日
  1. Hugging Face 研究、音声認識のベンチマーク最適化をどう測るか

    Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。

8月17日

月曜日

8月13日

木曜日
  1. MindTopo、Microsoft Research がマルチモーダル大規模モデルの位相推論を評価

    Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。

8月12日

水曜日
  1. Google Research、大型モデルの事実の難点は記憶より想起と報告

    Google ResearchはWikipedia事実2150件のWikiProfileで13モデルを評価した。Gemini-3-ProとGPT-5は95~98%を記憶していたが26~34%を直接想起できず、思考ありでも11~12%失敗した。最先端モデルの誤りは知識不足よりアクセス不足によるとし、難点が知識獲得から活用へ移ると指摘する。

7月27日

月曜日

7月15日

水曜日

7月1日

水曜日

4月14日

火曜日
  1. Google、生成 AI で将来の技能を評価する Vantage を公開

    Google は、高校生・大学生の問題解決や協働を生成 AI の模擬対話で評価する研究実験 Vantage を公開した。Google Labs で英語の登録を受け付ける。Executive LLM が会話を動的に進め、AI Evaluator が評価表で採点する。NYU との米国18~25歳188人の研究では、AI と専門家の採点一致度は専門家同士に近かった。

4月9日

木曜日

4月3日

金曜日

4月1日

水曜日

3月17日

火曜日