Hugging Face、多言語 TTS と音声クローンの拡張可能な評価基盤 Open TTS Leaderboard を公開
Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。
#Hugging Face
#Hugging Face
今日 0 件9月30日
9月29日
ProvenanceGuard：MCPエージェントの出所を考慮した事実確認
Hugging FaceはMCPエージェント向けの生成後検証層ProvenanceGuardの論文を公開した。ツール出力の出所を保持し、「事実は正しいが帰属先が違う」情報源間の混同を検出する。医療エージェントの実際の281トレースで、専門家が阻止すべきと判断した139主張のうち138件を阻止した。出所識別の正確さは約86%で、4種類の検証器との比較で最高得点だった。
9月22日
英国AISI、EvalEval基盤で評価結果を再現可能にする方法
英国AI Security Institute（AISI）は評価の科学的再現性を高めるため、EvalEvalのEvery Eval EverスキーマとEvaluation Cardsで結果を公開共有している。
9月16日
IBM、一貫性ガイドでGPT-4.1エージェントの一貫性格差を24.4から12.0ポイントへ縮小
IBMの研究チームはALTK-Evolveに一貫性ガイドを追加した。Consistency Analyzerを使い、エージェントのトレース内で判断が反転しやすい箇所を診断する。
9月2日
Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開
Hugging Faceは多次元項目反応理論（MIRT）で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。
8月28日
Open ASR Leaderboard、グローバルサウスの言語を初めて扱う Monsoon 評価データを追加
Voice Arena と Hugging Face は Open ASR Leaderboard に Monsoon en-IN と Monsoon hi-IN を追加した。Hindi はこの多言語ランキング初のインド言語となる。
8月25日
Multiverse ComputingがQuantization-Aware Healingを提案、4-bit圧縮モデルが9項目中7項目でbfloat16版を上回る
Multiverse ComputingはQuantization-Aware Healing（QAH）を提案する論文を公開した。GPT-OSS 120Bを60Bパラメーターへ圧縮しMXFP4へ量子化した後、復元したbfloat16チェックポイントではなく、圧縮前の元モデルから直接蒸留する。
8月21日
Hugging Face 研究、音声認識のベンチマーク最適化をどう測るか
Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。
8月13日
Hugging Face、ICML 2026再現ハッカソンを振り返る：2226論文、6816ログ
Hugging Faceは7月15日から8月2日までICML 2026オープン再現チャレンジを開催した。1221人のコミュニティーメンバーがClaude Code、Codex、Cursorなどのコーディングエージェントで論文を再現し、6816件のTrackioログを公開した。対象は大会論文の約3分の1に当たる2226件だった。
8月10日
Multiverse Computing、効率的な知識蒸留を提案、単一 GPU で長いコンテキストを蒸留
Multiverse Computing は論文『Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss』を公開した。
7月15日
Hume、音声AIの人間的品質を測るReal World VoiceEQを公開
Humeは音声評価ベンチマークReal World VoiceEQを公開した。40超の専有・オープンソース音声モデル、15以上の評価軸、60超の指標を扱い、ASR、TTS、S2S、音声理解を対象とする。
7月1日
ScarfBench、企業Javaのフレームワーク移行を評価するAIエージェント基準
Hugging FaceはSpring、Jakarta EE、Quarkus間の企業Javaアプリ移行を評価するScarfBench（Self-Contained Application Refactoring Benchmark）を公開した。
6月30日
DiScoFormer、単一Transformerで密度とscoreを推定、分布をまたいで利用
Hugging FaceはDiScoFormer（Density and Score Transformer）を提案した。データ点を与えるだけで1回の順伝播で密度とscoreを同時推定し、新しい分布ごとの再学習を必要としない。