本文へ移動

#Hugging Face

今日 0 件

11月14日

土曜日
  1. XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク

    Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。

11月10日

火曜日
  1. NVIDIAとElith、合成データセットNemotron-Personas-Finance-Japanを公開

    ElithとNVIDIAは、オープンソースのペルソナデータセットNemotron-Personas-Japanの金融分野向け拡張版であるNemotron-Personas-Finance-Japanを公開した。日本の公式統計と家計金融・金融リテラシーのデータを組み合わせた、100万件規模のオープンなペルソナデータセットとしては初めてだとしている。

11月9日

月曜日
  1. Hugging Face、二階手法でMoEのエキスパートを剪定するHOPEを提案

    Hugging Faceは、エキスパート同士の相互作用を考慮する二階のMoEエキスパート剪定手法HOPE(Higher-Order Pruning of Experts)を提案した。50%の剪定率でHOPEは全手法中最高の平均順位を記録し、エージェント型コーディングタスクでは次善の剪定手法より最大+6.1%向上した。

11月8日

日曜日

11月6日

金曜日

11月5日

木曜日
  1. GPT-6 Astra、重みを直接書き換えて他のAIモデルを改変

    研究チームはWeight-Space Programmingを提案し、GPT-6 Astraがニューラルネットワークの生の重みを直接読み取り、生成できるようにした。段階的な数学的最適化による訓練は不要となる。Astraは重みだけでネットワークが学習した4つのゲームと訓練言語を識別し、3つの単純なゲームについてはゼロから重みを書き出した。うちBreakoutでは平均スコア517点を記録し、標準的な訓練ベースラインの25点と対照的だった。

11月4日

水曜日
  1. Palette:IBMが20Bの小規模モデルを自社のデザイン言語でスライド生成できるよう訓練

    IBMはHugging FaceのブログでPaletteを紹介した。20BのオープンウェイトモデルをLoRAで微調整し、スライド作成を「デザイナーがJSONブリーフを書く」「コーダーがpptxgenjsのコードを書く」という2つの役割に分解した。訓練データは約1000件のスライド、約1万ページで、IBM Design Languageに準拠している。

10月28日

水曜日
  1. Ai2研究:LLMは研究アイデアの新規性を信頼できる形で判断できるか

    Ai2は研究「Old Ideas, Novel Problems」を公開し、大規模言語モデルが科学研究アイデアの新規性を判断する信頼性を検証した。併せてベンチマーク、データ、コードをオープンソース化した。研究ではICLR 2026の査読意見に基づき、新規性の高い人間のアイデア154件と低い145件からなるプールを構築し、さらにLLMが生成したアイデア154件を用意した。

10月23日

金曜日

10月21日

水曜日

10月20日

火曜日
  1. ALTK-Evolve、学習した記憶でτ²-benchのカスタマーサービス課題を制覇

    ALTK-EvolveはGPT-4.1を使い、エージェント自身のタスク軌跡から行動規範を抽出してシステムプロンプトに追記する。τ²-benchの小売ドメインでPass^4 67.5%に達し、リーダーボード上の全小売エントリーと微調整モデルRAFT-30B-A3Bの61.4%を上回った。

10月16日

金曜日
  1. NVIDIAとAI4Bharat、2.8兆トークンのインド語言語コーパスとオープンなデータ生成パイプラインを公開

    NVIDIAはIIT MadrasのAI4Bharatラボと共同でNemotron-pretraining-Indic-v1を公開した。約2.8兆トークンで22のインド言語をカバーし、うち2,601.0億が現地文字トークン、224.6億がローマ字化トークン。カウントにはGemma-4トークナイザーを使用。

10月15日

木曜日

10月7日

水曜日
  1. Nemotron を微調整し IOI 2026 と IMO 2026 でそろって金メダル水準に

    NVIDIA のチームは Nemotron 3 を出発点に、SFT、RL、フィードバック駆動の推論フローを用いて、モデルを IOI 2026 と IMO 2026 の両方で金メダル水準に到達させた。IOI 2026 では Nemotron-3-Ultra-CC が 535.4/600 を記録し、金メダルラインの 361.12 と人間の最高得点 498.27 を上回った。IMO 2026 ではシステムが 30/42 を獲得し、公式の金メダルライン 29 を上回り、6 問のうち 4 問で満点を取った。

10月4日

日曜日
  1. MicrosoftとHugging Face、ThinkingBoxを公開:データベースの最終状態でAIエージェントを採点

    Microsoft Copilot StudioチームとHugging FaceがThinkingBoxを共同公開した。隔離されたMCPツールセッションでエージェントを実行し、回答テキストやツール呼び出しの正当性ではなく、バックエンドの最終状態と副作用を実行可能なチェックで評価する。

9月30日

水曜日
  1. Hugging Face、多言語 TTS と音声クローンの拡張可能な評価基盤 Open TTS Leaderboard を公開

    Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。

9月29日

火曜日
  1. ProvenanceGuard:MCPエージェントの出所を考慮した事実確認

    Hugging FaceはMCPエージェント向けの生成後検証層ProvenanceGuardの論文を公開した。ツール出力の出所を保持し、「事実は正しいが帰属先が違う」情報源間の混同を検出する。医療エージェントの実際の281トレースで、専門家が阻止すべきと判断した139主張のうち138件を阻止した。出所識別の正確さは約86%で、4種類の検証器との比較で最高得点だった。

9月22日

火曜日

9月16日

水曜日

9月2日

水曜日
  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月28日

金曜日

8月25日

火曜日

8月21日

金曜日
  1. Hugging Face 研究、音声認識のベンチマーク最適化をどう測るか

    Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。

8月13日

木曜日
  1. Hugging Face、ICML 2026再現ハッカソンを振り返る:2226論文、6816ログ

    Hugging Faceは7月15日から8月2日までICML 2026オープン再現チャレンジを開催した。1221人のコミュニティーメンバーがClaude Code、Codex、Cursorなどのコーディングエージェントで論文を再現し、6816件のTrackioログを公開した。対象は大会論文の約3分の1に当たる2226件だった。

8月10日

月曜日

7月15日

水曜日

7月1日

水曜日

6月30日

火曜日