本文へ移動

#推論

今日 0 件

11月14日

土曜日

11月11日

水曜日

11月9日

月曜日
  1. Hugging Face、二階手法でMoEのエキスパートを剪定するHOPEを提案

    Hugging Faceは、エキスパート同士の相互作用を考慮する二階のMoEエキスパート剪定手法HOPE(Higher-Order Pruning of Experts)を提案した。50%の剪定率でHOPEは全手法中最高の平均順位を記録し、エージェント型コーディングタスクでは次善の剪定手法より最大+6.1%向上した。

11月7日

土曜日
  1. SageMaker Inference が NVIDIA MIG に対応、1 基の GPU を複数のモデルエンドポイントに分割可能

    Amazon SageMaker Inference に GPU パーティション機能が追加された。NVIDIA Multi-Instance GPU(MIG)を使い、1 基の物理 GPU を最大 7 つのハードウェア分離されたパーティションに分割し、パーティションごとに異なるモデルをデプロイできる。

10月30日

金曜日

10月28日

水曜日
  1. Google、LLMが継続学習で知識を保持する「sleep」フレームワークを提案

    Google Researchは、LLMが能動的な対話とオフラインの睡眠を交互に繰り返し、短期的な文脈を長期的なパラメータへ定着させる「sleep」フレームワークを提案した。睡眠段階では、MoEによるパラメータ拡張、知識蒸留、RLによる模倣学習を通じて記憶の定着を図り、さらにランダムなエキスパートの活性化と勾配で選別した合成サンプルによって自己改善する。

10月27日

火曜日

10月22日

木曜日
  1. Dharma-AI、語彙の専用化でSLMの推論コストを77%削減

    Dharma-AIはHugging Faceのブログで、近く公開するVocabX論文を紹介した。語彙を頻度ではなくトークンあたりのコストに基づいて再構築する手法により、Qwen3-4Bベースのポルトガル語作文採点器で実測の推論コストを77.0%削減し、平均応答を350トークンから101トークンに、benchスコアを0.703から0.810に改善した。

10月21日

水曜日
  1. Amazon SageMaker HyperPodでGPT-OSS-20Bを微調整し多言語推論を実現

    GPT-OSS-20Bは50例の多言語推論テストで、目標言語で推論したのはわずか22%だった(英語100%、フランス語0%、ドイツ語10%、スペイン語0%、イタリア語0%)。チームはAmazon SageMaker HyperPod上でLoRAを用い、SFTとGRPOを組み合わせて微調整し、英語への偏りを是正した。結論として、SFTが主な役割を担い、GRPOは改善の余地がある場合にさらに最適化するもので、技術の選択は能力の差に合わせる必要がある。

10月20日

火曜日
  1. AWS、vLLMで双方向KV転送によりマルチターンのエージェント負荷のTTFTを改善

    AWSはvLLMに双方向KV転送を実装し、decodeノードが後続のターンで計算済みのKVをprefillノードに返して再利用できるようにし、会話履歴の再計算を避けた。Amazon EC2 P5enインスタンスとEFAを用いた1P1D構成では、最長プロンプト時にQwen3-32BでTTFTが約1.6倍、zai-org/GLM-5-FP8で約3.3倍低下した。

  2. Deepgram、AWS Trainium で大規模音声 AI をどう最適化したか

    Deepgram は AWS と協力し、音声認識モデル Nova-3 を Trainium2 に移植した。コールセンター分析や医療文字起こしなどオフラインのバッチ処理が対象。最終構成では Amazon EC2 trn2.3xlarge インスタンス 1 台でモデルを 8 レプリカ動かし、1 ドル当たりの処理音声量は従来の計算基盤より 11%〜70% 多い。

10月16日

金曜日
  1. Microsoft ResearchがMagnetarを公開:証明ベースの汎用計算zkVM

    Microsoft Researchはゼロ知識仮想マシンMagnetarを公開した。Rust、Go、Cで書かれたRISC-Vプログラムの実行を証明でき、ノートPC上で毎秒720万〜870万のプロセッサ命令を証明、15のベンチマークプログラムで既存の最速zkVMより平均10〜39倍高速で、証明の検証は約12ミリ秒。

10月15日

木曜日
  1. Apertus 1.5 公開:8B と 70B モデルに画像・音声理解と思考モードを追加

    Apertus 1.5 は 8B と 70B の 2 規模で Apertus 1.0 を拡張し、画像・音声理解、任意の思考モード、4 倍長いコンテキストウィンドウ(262,144 tokens)、より良い指示追従とツール呼び出し能力を追加した。重みは 2026 年 7 月 24 日に Apache 2.0 ライセンスで Hugging Face に公開された。

10月14日

水曜日

10月13日

火曜日
  1. Amazon SageMaker AI における MoE カーネルエンジニアリング最適化の実践

    MoE モデルの decode 段階で M 次元が小さすぎるために Hopper GPU の利用率が低い問題に対し、AWS は Swap-AB 最適化を提案し、エキスパート出力次元 N=8192 を第一オペランドに引き上げた。H200 上で大規模 MoE モデルに 2~4% のエンドツーエンドスループット向上をもたらし、この最適化は vLLM 0.24.0 以降にマージ済みである。

10月7日

水曜日
  1. Nemotron を微調整し IOI 2026 と IMO 2026 でそろって金メダル水準に

    NVIDIA のチームは Nemotron 3 を出発点に、SFT、RL、フィードバック駆動の推論フローを用いて、モデルを IOI 2026 と IMO 2026 の両方で金メダル水準に到達させた。IOI 2026 では Nemotron-3-Ultra-CC が 535.4/600 を記録し、金メダルラインの 361.12 と人間の最高得点 498.27 を上回った。IMO 2026 ではシステムが 30/42 を獲得し、公式の金メダルライン 29 を上回り、6 問のうち 4 問で満点を取った。

10月3日

土曜日

10月2日

金曜日
  1. Amazon Payments、Amazon SageMaker AI上の文脈付き多腕バンディットで獲得ファネルのコンバージョンを改善

    Amazon PaymentsはAmazon SageMaker AI上で多目的文脈付き多腕バンディット(LinUCB)を用い、製品獲得ファネル向けのパーソナライズされたコンテンツ選択を実施。7週間のオンラインA/Bテストでは、ある顧客集団で最終ファネルのコンバージョン率が相対で1桁台後半の改善を示した一方、別の集団では改善が見られず、問題はモデルではなくコンテンツにあった。

10月1日

木曜日
  1. Google DeepMind、フロンティアモデル「Gemini 4 Argon」を発表

    Google DeepMindは新たなフロンティアモデル「Gemini 4 Argon」を発表した。まずFairwind Programの信頼できるサイバー防御担当者に開放し、その後開発者、企業、消費者向けに提供する。価格は入力100万トークンあたり2ドル、出力100万トークンあたり10ドルから。

9月24日

木曜日

9月16日

水曜日

9月8日

火曜日

9月3日

木曜日

9月2日

水曜日
  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月25日

火曜日

8月21日

金曜日

8月13日

木曜日
  1. MindTopo、Microsoft Research がマルチモーダル大規模モデルの位相推論を評価

    Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。

8月11日

火曜日

7月31日

金曜日