本文へ移動
assaynotes
EN日本語中文

#評価・ベンチマーク

今日 0 件

11月15日

日曜日

11月14日

土曜日

  1. XYBench：ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク

    Hugging Faceは、ユーザーの質問に含まれる誤った前提（XY問題）をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。

11月13日

金曜日

11月12日

木曜日

  1. AWS、AIエージェントのクローズドループ評価を可能にするUAEFをオープンソース化

    AWSはオープンソースフレームワークUAEFを公開した。アダプターでLangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore、Langfuseの実行トレースをAgentTraceに統一し、7次元36項目の組み込み指標で採点する。

11月11日

水曜日

  1. Amazon Bedrock AgentCore Evaluations によるエージェント評価ガイド：組み込み、DeepEval、AutoEval の各評価器

    Amazon Bedrock AgentCore Evaluations は、組み込み、DeepEval、AutoEval の3種類の評価器を提供する。組み込み評価器は AWS が作成し品質テストを経た16種類で、応答品質、タスク完了、ツール使用、スキル、安全性の5つの次元をカバーする。

11月10日

火曜日

  3. Anthropic、Claude Fable 5.2とMythos 5.2を発表　IPO前に性能首位へ返り咲き

    AnthropicはClaude Fable 5.2とMythos 5.2を発表した。両モデルは同じモデル基盤を共有し、違いはアクセス権限にある。Fableは全ユーザー向けでサイバーセキュリティや生物分野のリスクタスクを遮断し、Mythosは一部の制限を外し、Anthropicのサイバーセキュリティまたはライフサイエンス検証プログラムを通過した組織にのみ開放する。

11月8日

日曜日

  1. アリババなどのチームがCo-Design Benchを公開、コーディングエージェントはタスクの約4分の1しか完全にこなせず

    アリババとアジアの複数大学の研究者が、実際のユーザーの変更リクエストからコーディングエージェント向けベンチマーク「Co-Design Bench」を構築した。エージェントは画像・音声・動画・文書などを入力として、既存のWebアプリを改修することが求められる。

  3. Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける

    Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。

11月7日

土曜日

11月6日

金曜日

  1. Open ASR Leaderboardにエジプトとナイジェリアの英語アクセントの非公開データを追加

    Hugging FaceのOpen ASR LeaderboardはLiva AIと提携し、エジプトとナイジェリアの2種類の英語アクセントの非公開評価データを追加した。エジプト・アクセントのデータは1.34時間、ナイジェリア・アクセントは1.55時間で、いずれも会話形式の自発音声であり、書き起こしには句読点、大文字小文字、非流暢語が含まれる。また、Kachruの三円モデルに基づくアクセント分類を新設し、米国と非米国、内円と外円・拡張円のアクセントを区別する。

  2. SemiAnalysisがGDPxベンチマークを公開、AIエージェントの最高得点は12%未満

    SemiAnalysisがGDPxベンチマークを公開した。AIエージェントを模擬的な知識労働環境に置くもので、チップ設計、生物、クオンツ取引、サイバーセキュリティ、法律など11分野にわたる206タスクを課すが、総合スコアが12%を超えたモデルはない。

11月5日

木曜日

  1. オープンソースベンチマーク CloudOpsBench 公開：AI クラウド運用の最大のボトルネックは推論

    ミシガン大学の Ang Chen 氏率いるチームが、AWS のクラウド運用タスク 45 件を含むオープンソースベンチマーク CloudOpsBench 1.0 を公開した。タスクは経験豊富な DevOps エンジニアが設計した。最高成績の Claude Fable 5.1 でも完了率は 60%、GPT-6 Astra は 53% で、全タスクを完了できるモデルはなかった。

  2. 決定モデルとAmazon Bedrock AgentCore Evaluationsを組み合わせたエージェント評価

    Amazon Bedrock AgentCore Evaluationsは、コードベースの評価器を通じて決定モデルを組み込める。評価入力を決定モデルへのリクエストに変換し、確率を評価結果に戻す仕組みだ。例としてTypeSafeのマネージド決定モデルJevと、Strands Agentsチームがオープンソース化した2BパラメータモデルStrands Decider 2Bを接続しており、両モデルはnoul、choice、scoreの3種類の質問に対応する。

11月4日

水曜日

  1. スタンフォード大の研究：LLMの結論の44%が失効、平均寿命は15.7カ月

    スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。

11月3日

火曜日

10月30日

金曜日

10月29日

木曜日

  1. Mistral、1兆パラメーターモデル「Mistral Large 4」を公開　コーディングはオープンモデルをリードするも総合では中国勢に後れ

    Mistralは公開プレビューから3週間後、Hugging FaceでMistral Large 4の重みを公開した。愛称は「Le Chonk」で、総パラメーター約1兆、1ステップあたり520億を活性化。テキストと画像を入力し、テキストとコードを出力する。

10月28日

水曜日

  2. Ai2研究：LLMは研究アイデアの新規性を信頼できる形で判断できるか

    Ai2は研究「Old Ideas, Novel Problems」を公開し、大規模言語モデルが科学研究アイデアの新規性を判断する信頼性を検証した。併せてベンチマーク、データ、コードをオープンソース化した。研究ではICLR 2026の査読意見に基づき、新規性の高い人間のアイデア154件と低い145件からなるプールを構築し、さらにLLMが生成したアイデア154件を用意した。

  3. Property Finder、評価バイアスを修正しAmazon Bedrockでより優れたモデルを選定

    Property Finderは、評価ラベルの96.8%が人手による検証ではなく既存の視覚言語モデルの予測に由来しており、代替モデルが比較で構造的に不利になっていたことを突き止めた。チームはUAEの画像356枚を再び人手でラベリングし、マルチラベル分類に切り替え、v0からv27までのプロンプト反復最適化を組み合わせてAmazon Bedrock上で新モデルを選定。精度は向上し、コストは86%削減された。

10月27日

火曜日

  1. OpenAIのTed Sanders氏、適切なGPTモデルを選ぶ経験則を共有

    OpenAIのTed Sanders氏は、モデルサイズ、推論への投入量、マルチエージェントシステムなどの軸でGPT-6.1 Terraなどのモデルを分類し、選定の法則を示した。品質だけを重視するならAstra、価格を多少気にするならSol、価格を非常に気にするならTerraかLunaを選ぶという。同氏によると、GPT-6.1 Terraは技術的なコミュニケーションでより大型のAstraを上回る可能性があり、画像処理とコンピューター操作ではほぼ同等ながら価格ははるかに低く、その他の多くの領域では劣るという。

10月24日

土曜日

  1. 複雑なフレームワークはコーディングエージェントを強くせず高くつくだけ、研究で判明

    Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。

10月21日

水曜日