本文へ移動

#推論

今日 0 件

11月13日

金曜日
  1. OpenAI研究:フロンティアモデルが思考の連鎖をますます示さなくなった理由

    OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。

11月9日

月曜日
  1. Hugging Face、二階手法でMoEのエキスパートを剪定するHOPEを提案

    Hugging Faceは、エキスパート同士の相互作用を考慮する二階のMoEエキスパート剪定手法HOPE(Higher-Order Pruning of Experts)を提案した。50%の剪定率でHOPEは全手法中最高の平均順位を記録し、エージェント型コーディングタスクでは次善の剪定手法より最大+6.1%向上した。

11月8日

日曜日

11月4日

水曜日
  1. スタンフォード大の研究:LLMの結論の44%が失効、平均寿命は15.7カ月

    スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。

11月3日

火曜日

10月31日

土曜日

10月28日

水曜日
  1. Google、LLMが継続学習で知識を保持する「sleep」フレームワークを提案

    Google Researchは、LLMが能動的な対話とオフラインの睡眠を交互に繰り返し、短期的な文脈を長期的なパラメータへ定着させる「sleep」フレームワークを提案した。睡眠段階では、MoEによるパラメータ拡張、知識蒸留、RLによる模倣学習を通じて記憶の定着を図り、さらにランダムなエキスパートの活性化と勾配で選別した合成サンプルによって自己改善する。

10月22日

木曜日

10月21日

水曜日

10月17日

土曜日

10月16日

金曜日
  1. Microsoft ResearchがMagnetarを公開:証明ベースの汎用計算zkVM

    Microsoft Researchはゼロ知識仮想マシンMagnetarを公開した。Rust、Go、Cで書かれたRISC-Vプログラムの実行を証明でき、ノートPC上で毎秒720万〜870万のプロセッサ命令を証明、15のベンチマークプログラムで既存の最速zkVMより平均10〜39倍高速で、証明の検証は約12ミリ秒。

10月15日

木曜日

10月13日

火曜日
  1. マイクロソフト研究:会話履歴を消去するとAIエージェントはより良い解法を見つけられる

    マイクロソフトリサーチの研究がFork-and-Flush手法を提案した。エージェントをK個の並列ブランチに分岐させ、各ブランチで会話コンテキストをすべて消去しつつワークスペースは保持することで、同じ種類の解法を磨き続けるidea basinsから抜け出せるようにする。

10月12日

月曜日

10月7日

水曜日
  1. Nemotron を微調整し IOI 2026 と IMO 2026 でそろって金メダル水準に

    NVIDIA のチームは Nemotron 3 を出発点に、SFT、RL、フィードバック駆動の推論フローを用いて、モデルを IOI 2026 と IMO 2026 の両方で金メダル水準に到達させた。IOI 2026 では Nemotron-3-Ultra-CC が 535.4/600 を記録し、金メダルラインの 361.12 と人間の最高得点 498.27 を上回った。IMO 2026 ではシステムが 30/42 を獲得し、公式の金メダルライン 29 を上回り、6 問のうち 4 問で満点を取った。

10月6日

火曜日
  1. Qwen3.8 27B、英単語で足し算を行うベンチマーク

    推論を無効化した5,070件のケースを用いたベンチマークで、ローカルのQwen3.8-27B-Q4_K_M.ggufモデルが正の整数の足し算を英単語だけで行い、正確な結果を出力できるかを検証した。数値の正確率は23.57%、形式遵守率は96.17%。正確率は桁数が増えるにつれ、1〜3桁の97.04%から10〜13桁の6.44%へと低下した。中程度の推論を有効にすると、169件のペアテストで167件正解した。

10月2日

金曜日
  1. Ataraxos、16基のGPUでStrategoのトップ人間選手を破る

    カーネギーメロン大学、MIT、ニューヨーク大学、スタンフォード大学の研究チームが開発したAIシステムAtaraxosは、Strategoで史上最強とされる選手Pim Niemeijerに15勝1敗4引き分けで勝利した。訓練にはわずか16基のGPUと数千ドルしかかかっていない。Strategoは不完全情報ゲームであり、駒の身元は衝突時のみ明らかになり、隠された情報量が多く展開期間も長い。これまでDeepMindもトップ人間プレイヤーを安定して破るマシンを作れなかった。

10月1日

木曜日

9月16日

水曜日

9月8日

火曜日

9月2日

水曜日
  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月25日

火曜日

8月17日

月曜日

8月13日

木曜日
  1. MindTopo、Microsoft Research がマルチモーダル大規模モデルの位相推論を評価

    Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。

7月31日

金曜日

7月29日

水曜日

7月26日

日曜日
  1. Berkeley AI Research、信念状態の教師付けで長い対話を効率化する ABBEL

    Berkeley AI Research は ABBEL を提案した。LLM の要約を自然言語の「信念状態」として分離し教師付けし、自己符号化器に着想を得た再構成型の信念評価を補助 RL 課題にする。CollabBench では ABBEL-rec-BG が全コンテキストモデルとの性能差を約50%縮め、訓練ステップを100から50に減らし、最大トークン長も全コンテキスト設定より短かった。

6月25日

木曜日
  1. Google Research、推論がLLMのパラメトリック知識の想起を開く仕組みを研究

    Google ResearchのCOLM 2026論文は、単純な1段階の質問でも、推論過程が通常は想起できない事実知識を引き出すと示した。Gemini-2.5 FlashとPro、Qwen3-32Bで確認した。追加トークンが「計算バッファー」になることと、関連事実を先に出して正答へ意味的に準備する「事実プライミング」の2機構を発見した。中間事実の自己生成には幻覚リスクもある。

4月20日

月曜日
  1. GRASP、世界モデルの勾配に基づく長期計画手法

    Berkeley AI Researchは学習済み世界モデルの勾配計画器GRASPを提案した。軌跡を仮想状態へ引き上げて時系列を並列最適化し、状態反復に乱数を直接注入して探索する。勾配を整えて行動へ明確な信号を送り、高次元視覚モデルの脆い「状態–入力」勾配を避け、長期計画を実用的かつ頑健にする。

4月16日

木曜日

3月25日

水曜日

3月13日

金曜日
  1. Berkeley AI Research、LLM の重要な相互作用を大規模に特定する SPEX と ProxySPEX

    Berkeley AI Research は、特徴、データ、モデル部品への寄与分析で LLM 出力を左右する相互作用を大規模に特定する SPEX と ProxySPEX を提案した。SPEX は疎性と低次数を使い探索を疎な復元問題へ変え、ProxySPEX は階層構造も使い、約10分の1のアブレーションで SPEX と同等性能を得る。

11月1日

土曜日