Amazon SageMaker AI における MoE カーネルエンジニアリング最適化の実践
MoE モデルの decode 段階で M 次元が小さすぎるために Hopper GPU の利用率が低い問題に対し、AWS は Swap-AB 最適化を提案し、エキスパート出力次元 N=8192 を第一オペランドに引き上げた。H200 上で大規模 MoE モデルに 2~4% のエンドツーエンドスループット向上をもたらし、この最適化は vLLM 0.24.0 以降にマージ済みである。
MoE モデルの decode 段階で M 次元が小さすぎるために Hopper GPU の利用率が低い問題に対し、AWS は Swap-AB 最適化を提案し、エキスパート出力次元 N=8192 を第一オペランドに引き上げた。H200 上で大規模 MoE モデルに 2~4% のエンドツーエンドスループット向上をもたらし、この最適化は vLLM 0.24.0 以降にマージ済みである。
NVIDIAは、医療エージェント、原子レベルの材料エンジニアリング、汎用ロボティクス、企業計画プラットフォームをそれぞれ手がけるフランスのスタートアップ4社、Doctolib、Entalpic、Genesis AI、Pigmentへの投資を計画していると発表した。NVIDIAの欧州における技術エコシステムへの投資総額はすでに100億ドル近くに達しており、これまでにAlice&Bob、Gradium、Scintil Photonicsにも出資している。
AWS はマルチノード展開向けの Ray LLM Deep Learning Containers を公開した。Amazon EKS 上で単一の大規模言語モデルを 2 つの GPU ノードに分割し、prefill/decode 分離方式で 1 つの OpenAI 互換エンドポイントを共有できる。
AWS は llama.cpp 専用の Deep Learning Container(DLC)を公開した。Amazon SageMaker AI 上で量子化モデルを CPU または GPU でホストし、InvokeEndpoint を通じて OpenAI 互換の chat completions を提供できる。
NVIDIAはOCP Global Summitで、オープンなMGXアーキテクチャを通じてVera Rubinのラックとコンピュートトレイの設計をOCPに提供し、システムベンダーが次世代AIファクトリー基盤を構築するための共通の土台を用意した。
著者はHuggingChatのML-internを使い、自然言語のプロンプトで2日間に6つのモデルを訓練・公開した。柑橘病害VLM、Huggy LoRA、カメラ視点LoRA、Doodle-in LoRA、Pocket Rewriter 0.8B/2B、Agate 4-step蒸留モデルが含まれ、計算コストの合計は約103ドルだった。
NVIDIAの開発者は、GPT-6 AstraやClaudeなどの最先端モデルでAIエージェントを動かし、OmniverseライブラリのGPUアクセラレーションによる物理・レンダリング・センサーシミュレーション機能を組み合わせ、自然言語の指示でシーン構築と検証を完了している。
アブダビの技術革新研究所(TII)は、1.6Bパラメータの音声認識モデル「Falcon-ASR」を発表した。アラビア語を主軸にアラブ首長国連邦方言に注力し、英語、フランス語、スペイン語、ポルトガル語にも対応する。
Microsoft Researchは、約3500行のコードで構成される軽量なエージェント強化学習フレームワーク「Agent Lightning v1.0」をオープンソース化した。Harnessed Agentic RLパラダイムを中心に再構築され、デプロイ時に使用するagent harnessをそのまま訓練に参加させることができ、訓練フレームワーク内でエージェントを再実装する必要がない。
Liquid AI は d1 意思決定モデルファミリーから、オープンウェイトの 2 モデル d1-3B と d1-omni-600M(実験的)を公開した。d1-3B は Decision Index 0.2.1 で 48.57 を記録し、10B 以下では最高。テキストと画像に対応する。d1-omni-600M はテキスト+画像またはテキスト+音声に対応する。
NVIDIA のチームは Nemotron 3 を出発点に、SFT、RL、フィードバック駆動の推論フローを用いて、モデルを IOI 2026 と IMO 2026 の両方で金メダル水準に到達させた。IOI 2026 では Nemotron-3-Ultra-CC が 535.4/600 を記録し、金メダルラインの 361.12 と人間の最高得点 498.27 を上回った。IMO 2026 ではシステムが 30/42 を獲得し、公式の金メダルライン 29 を上回り、6 問のうち 4 問で満点を取った。
OpenAIは、数学の未解決問題に対して内部フロンティアモデルが得た新たな結果を発表し、Leanによる証明の形式化と関連する研究の詳細を公開した。関連資料はGitHubで公開されている。
Google DeepMind は、Gemma 4 アーキテクチャをベースにした Apache 2.0 ライセンスのオープンソース・マルチモーダル埋め込みモデル EmbeddingGemma 2 を公開した。テキスト、画像、音声、動画を単一の埋め込み空間にマッピングできる。
NVIDIA の「State of AI in Telecommunications」レポートによると、回答者の 89% がオープンソースのモデルとソフトウェアを自社の AI 戦略にとって重要だと回答した。NVIDIA は 300 億パラメータの Nemotron 3 Large Telco Model(LTM)を発表した。AdaptKey がオープンな通信データセットでファインチューニングしたもので、ファインチューニングの全工程も公開されている。
MistralはMistral Large 4の公開プレビューを発表した。1兆パラメータ、49Bのアクティブパラメータを持つネイティブマルチモーダルモデルで、Mistral StudioでプレビューAPIを試用でき、重みは今月末に公開される。
Falcon-Emirati-7B が公開された。Falcon-H1-Arabic をベースに構築された 7B の方言特化モデルで、アラブ首長国連邦のアラビア語の理解と生成に特化している。Falcon-H1 のハイブリッドアーキテクチャ(Mamba と Transformer アテンションの並列)を踏襲し、実際の方言ウェブデータ、MSA の文化コーパス、用語集に制約された合成データで訓練されている。
NVIDIA は今月、Acer、ASUS、Dell、Gigabyte、HP、MSI を通じて 64GB 統合メモリ版 DGX Spark を発売する。10 月 23 日販売開始、希望小売価格は 4,999 ドルから。GB10 Grace Blackwell スーパーチップ、DGX OS、NVIDIA AI ソフトウェアスタック一式を維持し、最大 1000 億パラメータのモデルをデバイス上でローカル実行できる。
NVIDIA NeMo Agent Toolkit(NAT)は、カスタム memory provider を通じて Amazon S3 Vectors を接続し、マルチエージェントシステムの永続メモリ層として利用できる。Amazon EKS 上にデプロイする。
AI2は、大規模言語モデル開発フレームワークの大幅なアップグレード版「Olmo-core 3」を公開した。オープンなMoE訓練システムを再設計し、計算効率を維持しながらMoE訓練を1兆パラメータ規模へ拡張することを目指す。
Google DeepMindはSynthID Bioを公開し、透かし技術を合成生物学に導入した。生物のコードに知覚できない署名を埋め込むことで、生物学的な機能を維持しながら、デジタルモデルと合成された実物のタンパク質の両方で透かしを検証できるようにする。
Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。
NVIDIAはオープンソースの表形式基盤モデルKumo Tabularを公開した。ラベル付きの表の行を入力すると、学習、調整、特徴量設計なしに、単一の順伝播で新しい行のラベルを予測し、分類と回帰に対応する。28M〜215Mの3サイズを提供し、人工合成の表のみで事前学習した。商用利用可能なOpenMDW-1.1ライセンスを採用し、TabArena、BeyondArena、TALENT、ScoringBenchの4ベンチマークで首位だった。
AWSはSageMaker AIにQwen3-TTSを配置できるvLLM-Omni DLCを公開した。持続的な双方向接続1本で文字を入力しながら音声を出力し、生成が完了する前から再生を始められる。
Mistral は Munich に新拠点を開き、Physics AI と産業 AI に特化する研究チームを組織した。2030年までに欧州で1 GW の計算容量を整備する計画だ。BMW と衝突シミュレーション・エンジニアリング AI、Siemens Energy と産業 AI 応用で連携し、Munich 工科大学(TUM)とは風洞施設を使う自動車空力デジタルツインを開発する。
HはHolo4エージェントモデル群を公開した。27Bのdenseと35B-A3BのMoEの2規模がH Models APIで利用可能で、Hugging FaceではBF16、FP8、NVFP4、4-bit GGUF形式のウェイトを公開している。
Hugging Face Hub に RL Environments フィルターが追加され、rl-environment タグを持つデータセットリポジトリが huggingface.co/datasets? に表示されるようになる。
AWSはAmazon EKSでEFAとDeepEPを組み合わせ、MoE強化学習の学習を拡張する構成を示した。処理量は40%向上する。
Alibaba Cloud Qwenチームが公開したQwen3-TTS-12Hz-1.7B-BaseがAmazon SageMaker JumpStartで利用可能になった。フルマネージドのリアルタイム推論エンドポイントへ配置でき、数秒の参照音声と対応する文字だけで、再学習なしに声を複製する。
GitHub Security LabはC/C++プロジェクト向けの自律ファジングパイプラインFuzzing Taskflowを公開した。GitHubリポジトリーを指定するだけで、入口の特定、ビルドシステムの分析、ハーネス作成、AFL++実行、カバレッジ報告の読解とハーネス改善を行い、最後に各クラッシュを分類して脆弱性報告を生成する。
AWSはOpenAI Whisperにバッチ推論、wav2vec2の強制アラインメントによる単語単位の時刻、話者分離を追加したWhisperX Deep Learning Containerを公開した。自作イメージなしで、Amazon SageMaker AIのリアルタイムまたは非同期エンドポイントへ配置できる。
Liquid AIは視覚言語モデルLFM2.5-VL-3B向けの実験的DSpark草稿モデルLFM2.5-VL-DSparkを公開した。投機的デコードで品質を変えずに高速化し、デコードは端末で最大3.13倍、H100で2.66倍、全工程はそれぞれ最大2.62倍、2.27倍になる。
NVIDIAはGoogle DeepMind、EMBL-EBIなどの世界的研究連合に加わり、AlphaFold Databaseで2800種超のウイルスのタンパク質複合体の予測3D構造を公開した。科学者は誰でも無料で使える。
Microsoft Researchは移動マニピュレーションロボットのワークロードを体系的に測定し、物理AI推論をロボット上のGPUからエッジやクラウドのGPUへ移すことで、タスク成功率の向上、大規模モデルの利用、稼働時間の延長が可能だと示した。
NVIDIA は Singapore AI Day で協力企業と東南アジアの AI 導入の進展を展示した。Singapore の HTX は Nemotron 3 Super と Nemotron 3 Nano Omni を使い、公共安全 AI を研究している。
NVIDIA は Toronto の ROSCon で Isaac ROS 5.0 を公開した。ROS ベースの GPU 高速化パッケージ群で、エージェントのワークフローとプラットフォーム対応を追加し、ロボットアプリの構築、カスタマイズ、配備を速める。
oMLX作者・保守担当Jun KimがHugging Faceに参加し、MLXコミュニティーに専念する。oMLXは副業から資金付き長期事業へ移り、Apache 2.0を維持してJunが率い、安定性と開発速度を高める。
Hugging FaceはtransformersにGGUF対応を追加した。Hubから量子化チェックポイントを選び、from_pretrainedにgguf_fileを渡すだけで、追加設定なしにローカル生成を実行できる。
NVIDIAは大エジプト博物館でAIイベントを開き、Deep Learning Instituteのエジプト参加者は1年で10倍超となった。Hassan Allamは国家通信規制局のデータセンター許可を得て、A15と投資予定4億ドルの新施設を開発する。NVIDIAによるとアフリカでAI工場4か所が発表・稼働し、さらに656MWが建設中だ。
MistralはMozillaとの提携を発表した。FirefoxのAIブラウジング助手Smart Window(beta)はMistralモデルで動き、まずフランスと北米に提供する。英国とドイツは今年後半に続く見込みだ。
Manchester 大学は NVIDIA Earth-2 の生成モデル Earth-2 CorrDiff を使い、1年分の英国の毎時汚染データから、全英をカバーする2~3平方 km解像度のモデルを訓練した。Isambard-AI の8 GPUノード1基で2日間だけを要した。