Hugging Face、多言語 TTS と音声クローンの拡張可能な評価基盤 Open TTS Leaderboard を公開
Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。
#評価・ベンチマーク
#評価・ベンチマーク
今日 0 件9月30日
9月23日
OpenAI、MentalHealthBenchを公開
OpenAIは専門家と構築したMentalHealthBenchを公開した。実際のメンタルヘルスの会話におけるAIの回答が有益で安全かを評価する。
9月22日
英国AISI、EvalEval基盤で評価結果を再現可能にする方法
英国AI Security Institute（AISI）は評価の科学的再現性を高めるため、EvalEvalのEvery Eval EverスキーマとEvaluation Cardsで結果を公開共有している。
9月2日
Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開
Hugging Faceは多次元項目反応理論（MIRT）で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。
8月28日
Open ASR Leaderboard、グローバルサウスの言語を初めて扱う Monsoon 評価データを追加
Voice Arena と Hugging Face は Open ASR Leaderboard に Monsoon en-IN と Monsoon hi-IN を追加した。Hindi はこの多言語ランキング初のインド言語となる。
8月24日
Import AI 470：機械に権利は不要、SPADE の訓練環境生成、Hawkeye の GPU カーネル
METR の研究では、AI の科学的発見への影響は一様でない。2026年の脆弱性報告は2025年より大幅に速く、数学はわずかな加速にとどまり、AI 研究自体のアルゴリズム進歩には有意な加速がない。複数大学のチームは LLM が実行可能な訓練環境の生成と解法を交互に行う SPADE を提案した。Qwen3-30B-A3B のゲーム環境平均点は58.3で、基準より8.1上がった。
8月21日
Hugging Face 研究、音声認識のベンチマーク最適化をどう測るか
Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。
8月17日
Import AI 469：DiG-bench、RSIシミュレーター、Zuckerbergの技術悲観論
Import AI 469は、ルールと目標を隠し、対話的探索で発見する70ゲームのDiG-benchを紹介した。Claude Codeと組み合わせたOpus 5とFable 5が最良で、この2モデルだけがTier 7の一部を攻略した。人は100%攻略できる。
8月13日
MindTopo、Microsoft Research がマルチモーダル大規模モデルの位相推論を評価
Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。
8月12日
Google Research、大型モデルの事実の難点は記憶より想起と報告
Google ResearchはWikipedia事実2150件のWikiProfileで13モデルを評価した。Gemini-3-ProとGPT-5は95～98%を記憶していたが26～34%を直接想起できず、思考ありでも11～12%失敗した。最先端モデルの誤りは知識不足よりアクセス不足によるとし、難点が知識獲得から活用へ移ると指摘する。
7月27日
EpochとMETR、長時間コーディングのMirrorCodeベンチマークを公開
EpochとMETRは、人なら長時間かかるコーディング課題をAIが完遂する能力を測るMirrorCodeを公開した。4月に初発表し、追加テスト後に正式公開した。
7月15日
Hume、音声AIの人間的品質を測るReal World VoiceEQを公開
Humeは音声評価ベンチマークReal World VoiceEQを公開した。40超の専有・オープンソース音声モデル、15以上の評価軸、60超の指標を扱い、ASR、TTS、S2S、音声理解を対象とする。
7月1日
ScarfBench、企業Javaのフレームワーク移行を評価するAIエージェント基準
Hugging FaceはSpring、Jakarta EE、Quarkus間の企業Javaアプリ移行を評価するScarfBench（Self-Contained Application Refactoring Benchmark）を公開した。
4月14日
Google、生成 AI で将来の技能を評価する Vantage を公開
Google は、高校生・大学生の問題解決や協働を生成 AI の模擬対話で評価する研究実験 Vantage を公開した。Google Labs で英語の登録を受け付ける。Executive LLM が会話を動的に進め、AI Evaluator が評価表で採点する。NYU との米国18～25歳188人の研究では、AI と専門家の採点一致度は専門家同士に近かった。
4月9日
Google Research、利用者シミュレーターの現実との差を測るConvApparelを公開
Google Researchは衣料品購入の4000以上の人・機械の複数ターン会話、約15000ターンのConvApparelを公開した。LLM利用者シミュレーターと人の現実感の差を測る。
4月3日
Google Research、LLMの行動傾向と人の共通認識の一致を評価
Google ResearchはIRI、ERQなどの心理質問票を改変した状況判断テスト（SJT）で、実際のユーザー・助手の場面の行動傾向が人の共通認識に合うか評価する枠組みを提案した。
4月1日
Google Research、AI 評価の注釈者は何人必要か
Google Research は『Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation』で評価項目数と項目ごとの注釈者数を比較した。一般的な1人、3人、5人では足りないことが多く、人の意見の違いを反映するには10人超が必要な場合が多い。
3月17日
Google、PNASで高温超伝導を使うLLM世界モデル評価を発表
GoogleとCornellはGPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM、独自RAGに高温超伝導の専門問題67問を解かせた。12人の国際専門家がバランス、網羅性、簡潔性、証拠、画像の関連性、定性的意見の6指標で盲検評価した。研究はPNASに掲載された。