本文へ移動
原文
Hugging Face Blog·· 1 時間前

AI2、1兆パラメータ規模のMoE向けオープン訓練基盤「Olmo-core 3」を公開

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

AI による要約

AI2は、大規模言語モデル開発フレームワークの大幅なアップグレード版「Olmo-core 3」を公開した。オープンなMoE訓練システムを再設計し、計算効率を維持しながらMoE訓練を1兆パラメータ規模へ拡張することを目指す。

入選の記録

入選二回の合計 124 ≥ 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:介绍大模型MoE训练基础设施
推薦理由
MoE訓練スタックのスループットとメモリの実測データが示されており、大規模MoE訓練のオープンな選択肢が実用に耐えるかを判断できる。

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:Hugging Face Blog · huggingface.co