XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
ElithとNVIDIAは、オープンソースのペルソナデータセットNemotron-Personas-Japanの金融分野向け拡張版であるNemotron-Personas-Finance-Japanを公開した。日本の公式統計と家計金融・金融リテラシーのデータを組み合わせた、100万件規模のオープンなペルソナデータセットとしては初めてだとしている。
Hugging Faceは、エキスパート同士の相互作用を考慮する二階のMoEエキスパート剪定手法HOPE(Higher-Order Pruning of Experts)を提案した。50%の剪定率でHOPEは全手法中最高の平均順位を記録し、エージェント型コーディングタスクでは次善の剪定手法より最大+6.1%向上した。
Anthropic Instituteの研究者Andy Hall氏がSubstackでMETRの研究を再現・拡張し、GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8、Gemini 3.8 Flashが人間のレビュアーと同様にエージェントの違反を発見できるかを検証した。
AI2はHugging Face上でToyBlocksを公開した。卓上のロボットアームとブロックを中心に据えたオープンなシミュレーションフレームワークで、FoundationWorldsシリーズの最初の環境にあたる。
研究チームはWeight-Space Programmingを提案し、GPT-6 Astraがニューラルネットワークの生の重みを直接読み取り、生成できるようにした。段階的な数学的最適化による訓練は不要となる。Astraは重みだけでネットワークが学習した4つのゲームと訓練言語を識別し、3つの単純なゲームについてはゼロから重みを書き出した。うちBreakoutでは平均スコア517点を記録し、標準的な訓練ベースラインの25点と対照的だった。
Collinear AI が CWE-bench v2 を公開した。セキュリティ脆弱性の修正タスク 100 件を公開し、91 種の CWE をカバーする。採点は完全にプログラム化されており、結果は再現可能だ。
IBMはHugging FaceのブログでPaletteを紹介した。20BのオープンウェイトモデルをLoRAで微調整し、スライド作成を「デザイナーがJSONブリーフを書く」「コーダーがpptxgenjsのコードを書く」という2つの役割に分解した。訓練データは約1000件のスライド、約1万ページで、IBM Design Languageに準拠している。
Hugging Faceは、言語モデルが長文書内でエンティティの状態変化を追跡する能力を評価するベンチマーク「StateBench」を公開した。難易度はR-trivial、Aperiodic、Soluble、General finiteの4段階で構成される。
Ai2は研究「Old Ideas, Novel Problems」を公開し、大規模言語モデルが科学研究アイデアの新規性を判断する信頼性を検証した。併せてベンチマーク、データ、コードをオープンソース化した。研究ではICLR 2026の査読意見に基づき、新規性の高い人間のアイデア154件と低い145件からなるプールを構築し、さらにLLMが生成したアイデア154件を用意した。
MicrosoftとHugging FaceはThinkingBox-Trainingを共同公開した。ThinkingBoxによるデータベース終状態の決定論的検証をそのままRL報酬として使い、状態を持つ業務エージェントの訓練に用いる。
Hugging Faceは、採用や融資、医療などの意思決定におけるLLMの集団公平性を測るベンチマークFairStressを公開した。Olmo、Llama、Qwen、Gemma、Claude、GPTシリーズのモデルを対象とする。
ALTK-EvolveはGPT-4.1を使い、エージェント自身のタスク軌跡から行動規範を抽出してシステムプロンプトに追記する。τ²-benchの小売ドメインでPass^4 67.5%に達し、リーダーボード上の全小売エントリーと微調整モデルRAFT-30B-A3Bの61.4%を上回った。
NVIDIAはIIT MadrasのAI4Bharatラボと共同でNemotron-pretraining-Indic-v1を公開した。約2.8兆トークンで22のインド言語をカバーし、うち2,601.0億が現地文字トークン、224.6億がローマ字化トークン。カウントにはGemma-4トークナイザーを使用。
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問(98%)を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
Ai2はHiRO-ACEシステムの新バージョンHiRO-ACEv2を公開した。ダウンスケーリングモデルHiROv2は複数の高解像度気象場を同時に予測でき、極端な降雨・風速・気圧事象の再現能力を高めている。
NVIDIA のチームは Nemotron 3 を出発点に、SFT、RL、フィードバック駆動の推論フローを用いて、モデルを IOI 2026 と IMO 2026 の両方で金メダル水準に到達させた。IOI 2026 では Nemotron-3-Ultra-CC が 535.4/600 を記録し、金メダルラインの 361.12 と人間の最高得点 498.27 を上回った。IMO 2026 ではシステムが 30/42 を獲得し、公式の金メダルライン 29 を上回り、6 問のうち 4 問で満点を取った。
Microsoft Copilot StudioチームとHugging FaceがThinkingBoxを共同公開した。隔離されたMCPツールセッションでエージェントを実行し、回答テキストやツール呼び出しの正当性ではなく、バックエンドの最終状態と副作用を実行可能なチェックで評価する。
Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。
Hugging FaceはMCPエージェント向けの生成後検証層ProvenanceGuardの論文を公開した。ツール出力の出所を保持し、「事実は正しいが帰属先が違う」情報源間の混同を検出する。医療エージェントの実際の281トレースで、専門家が阻止すべきと判断した139主張のうち138件を阻止した。出所識別の正確さは約86%で、4種類の検証器との比較で最高得点だった。
英国AI Security Institute(AISI)は評価の科学的再現性を高めるため、EvalEvalのEvery Eval EverスキーマとEvaluation Cardsで結果を公開共有している。
IBMの研究チームはALTK-Evolveに一貫性ガイドを追加した。Consistency Analyzerを使い、エージェントのトレース内で判断が反転しやすい箇所を診断する。
Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。
Voice Arena と Hugging Face は Open ASR Leaderboard に Monsoon en-IN と Monsoon hi-IN を追加した。Hindi はこの多言語ランキング初のインド言語となる。
Multiverse ComputingはQuantization-Aware Healing(QAH)を提案する論文を公開した。GPT-OSS 120Bを60Bパラメーターへ圧縮しMXFP4へ量子化した後、復元したbfloat16チェックポイントではなく、圧縮前の元モデルから直接蒸留する。
Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。
Hugging Faceは7月15日から8月2日までICML 2026オープン再現チャレンジを開催した。1221人のコミュニティーメンバーがClaude Code、Codex、Cursorなどのコーディングエージェントで論文を再現し、6816件のTrackioログを公開した。対象は大会論文の約3分の1に当たる2226件だった。
Multiverse Computing は論文『Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss』を公開した。
Humeは音声評価ベンチマークReal World VoiceEQを公開した。40超の専有・オープンソース音声モデル、15以上の評価軸、60超の指標を扱い、ASR、TTS、S2S、音声理解を対象とする。
Hugging FaceはSpring、Jakarta EE、Quarkus間の企業Javaアプリ移行を評価するScarfBench(Self-Contained Application Refactoring Benchmark)を公開した。
Hugging FaceはDiScoFormer(Density and Score Transformer)を提案した。データ点を与えるだけで1回の順伝播で密度とscoreを同時推定し、新しい分布ごとの再学習を必要としない。