本文へ移動

#評価・ベンチマーク

今日 0 件

11月14日

土曜日
  1. XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク

    Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。

11月13日

金曜日

11月12日

木曜日
  1. AWS、AIエージェントのクローズドループ評価を可能にするUAEFをオープンソース化

    AWSはオープンソースフレームワークUAEFを公開した。アダプターでLangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore、Langfuseの実行トレースをAgentTraceに統一し、7次元36項目の組み込み指標で採点する。

11月11日

水曜日
  1. Amazon Bedrock AgentCore Evaluations によるエージェント評価ガイド:組み込み、DeepEval、AutoEval の各評価器

    Amazon Bedrock AgentCore Evaluations は、組み込み、DeepEval、AutoEval の3種類の評価器を提供する。組み込み評価器は AWS が作成し品質テストを経た16種類で、応答品質、タスク完了、ツール使用、スキル、安全性の5つの次元をカバーする。

11月7日

土曜日

11月6日

金曜日
  1. Open ASR Leaderboardにエジプトとナイジェリアの英語アクセントの非公開データを追加

    Hugging FaceのOpen ASR LeaderboardはLiva AIと提携し、エジプトとナイジェリアの2種類の英語アクセントの非公開評価データを追加した。エジプト・アクセントのデータは1.34時間、ナイジェリア・アクセントは1.55時間で、いずれも会話形式の自発音声であり、書き起こしには句読点、大文字小文字、非流暢語が含まれる。また、Kachruの三円モデルに基づくアクセント分類を新設し、米国と非米国、内円と外円・拡張円のアクセントを区別する。

11月5日

木曜日
  1. 決定モデルとAmazon Bedrock AgentCore Evaluationsを組み合わせたエージェント評価

    Amazon Bedrock AgentCore Evaluationsは、コードベースの評価器を通じて決定モデルを組み込める。評価入力を決定モデルへのリクエストに変換し、確率を評価結果に戻す仕組みだ。例としてTypeSafeのマネージド決定モデルJevと、Strands Agentsチームがオープンソース化した2BパラメータモデルStrands Decider 2Bを接続しており、両モデルはnoul、choice、scoreの3種類の質問に対応する。

11月4日

水曜日

11月3日

火曜日

10月30日

金曜日

10月28日

水曜日
  1. Ai2研究:LLMは研究アイデアの新規性を信頼できる形で判断できるか

    Ai2は研究「Old Ideas, Novel Problems」を公開し、大規模言語モデルが科学研究アイデアの新規性を判断する信頼性を検証した。併せてベンチマーク、データ、コードをオープンソース化した。研究ではICLR 2026の査読意見に基づき、新規性の高い人間のアイデア154件と低い145件からなるプールを構築し、さらにLLMが生成したアイデア154件を用意した。

  2. Property Finder、評価バイアスを修正しAmazon Bedrockでより優れたモデルを選定

    Property Finderは、評価ラベルの96.8%が人手による検証ではなく既存の視覚言語モデルの予測に由来しており、代替モデルが比較で構造的に不利になっていたことを突き止めた。チームはUAEの画像356枚を再び人手でラベリングし、マルチラベル分類に切り替え、v0からv27までのプロンプト反復最適化を組み合わせてAmazon Bedrock上で新モデルを選定。精度は向上し、コストは86%削減された。

10月21日

水曜日

10月20日

火曜日

10月17日

土曜日
  1. Amazon Bedrock AgentCore で AI エージェントの本番向け評価フレームワークを構築

    AWS のセールス・マーケティング・グローバルサービス(SMGS)運用チームは、Amazon Bedrock AgentCore Evaluations を基盤に、グローバル現場営業向けマルチエージェントシステムの評価フレームワークを構築した。各リリース前および本番環境で、回答が根拠に基づき正確かどうかを継続的に検証し、失敗の根本原因を追跡する。

10月8日

木曜日
  1. TII、1.6Bパラメータのアラビア語音声認識モデル「Falcon-ASR」を公開、アラブ首長国連邦方言に注力

    アブダビの技術革新研究所(TII)は、1.6Bパラメータの音声認識モデル「Falcon-ASR」を発表した。アラビア語を主軸にアラブ首長国連邦方言に注力し、英語、フランス語、スペイン語、ポルトガル語にも対応する。

10月7日

水曜日
  1. Microsoft の研究者 Jennifer Neville 氏、AI 評価がモデルの「予期せぬ失敗」をどう浮き彫りにするかを語る

    Microsoft の Jennifer Neville 氏が Microsoft Research Podcast で、AI システムの性能の限界を押し広げる上で評価が果たす役割と、従来のベンチマークを超えてテストした際に現れる「予期せぬ失敗」について議論した。数学、物理、認知科学から計算機科学に至る自身の経歴を踏まえ、現在の AI システムを使う上での実践的な助言を共有し、結果が予想を超えたときにはデータを注意深く検証することの重要性を強調している。

10月6日

火曜日
  1. GitHub、AIコードレビュー向けのオープンベンチマーク「ReviewBench」を公開

    GitHubは、AIコードレビューエージェント向けのオープンなオフラインベンチマーク「ReviewBench」を公開した。1億390万件のGitHub pull requestの分布に基づいて構築され、187のオープンソースリポジトリ、19言語にわたる219件のpull requestを含む。

9月30日

水曜日
  1. Hugging Face、多言語 TTS と音声クローンの拡張可能な評価基盤 Open TTS Leaderboard を公開

    Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。

9月23日

水曜日

9月22日

火曜日

9月2日

水曜日
  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月28日

金曜日

8月27日

木曜日
  1. Google DeepMind、世界初の二重盲検AI評価を試行

    Google DeepMindは、専有のフロンティア級AIモデルを対象とする世界初の二重盲検評価を発表した。外部評価を暗号技術で隔離した環境に限定し、モデルが事前に試験問題へ接触することを防ぐ。シンガポールのAI安全研究所、OpenMined、AVERI、MLCommonsと協力し、プライバシーを保護した環境で非公開ベンチマークを使いGemini Flash Liteを評価する。

8月21日

金曜日
  1. Hugging Face 研究、音声認識のベンチマーク最適化をどう測るか

    Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。

8月13日

木曜日
  1. MindTopo、Microsoft Research がマルチモーダル大規模モデルの位相推論を評価

    Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。

8月12日

水曜日
  1. Google Research、大型モデルの事実の難点は記憶より想起と報告

    Google ResearchはWikipedia事実2150件のWikiProfileで13モデルを評価した。Gemini-3-ProとGPT-5は95~98%を記憶していたが26~34%を直接想起できず、思考ありでも11~12%失敗した。最先端モデルの誤りは知識不足よりアクセス不足によるとし、難点が知識獲得から活用へ移ると指摘する。

8月4日

火曜日
  1. Microsoft Research、Orchardをオープンソース化、Orchard-SWEがSWE-bench Verifiedで69.7%

    Microsoft ResearchはオープンソースのOrchardフレームワークを公開した。中心はKubernetes環境サービスOrchard Envで、タスク間で環境、データパイプライン、評価手順を再利用し、Codex、OpenClaw、ZeroClawなどの実際の配置フレームワーク内で直接エージェントを学習できる。

7月16日

木曜日
  1. DharmaOCR、ブラジル Portuguese OCR 評価で Mistral OCR4 と Unlimited-OCR を上回る

    DharmaOCR は Portuguese OCR 評価で0.925を記録し、Mistral OCR4 の0.798と Unlimited-OCR の0.7587を上回った。Portuguese コーパスで教師あり微調整を行い、次に DPO で推論の安定性を高める二段階訓練で特化した。筆者は、新構造が続々現れても単一言語にパラメーターを集中する戦略には構造的利点があるとする。

7月15日

水曜日

7月1日

水曜日

6月30日

火曜日

5月16日

土曜日

4月14日

火曜日
  1. Google、生成 AI で将来の技能を評価する Vantage を公開

    Google は、高校生・大学生の問題解決や協働を生成 AI の模擬対話で評価する研究実験 Vantage を公開した。Google Labs で英語の登録を受け付ける。Executive LLM が会話を動的に進め、AI Evaluator が評価表で採点する。NYU との米国18~25歳188人の研究では、AI と専門家の採点一致度は専門家同士に近かった。

4月9日

木曜日

4月3日

金曜日

4月1日

水曜日

3月17日

火曜日