Hugging Face Blog·· 1 時間前
AI2、1兆パラメータ規模のMoE向けオープン訓練基盤「Olmo-core 3」を公開
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI による要約
AI2は、大規模言語モデル開発フレームワークの大幅なアップグレード版「Olmo-core 3」を公開した。オープンなMoE訓練システムを再設計し、計算効率を維持しながらMoE訓練を1兆パラメータ規模へ拡張することを目指す。
入選の記録
基準 60公式・一次情報1 回目 622 回目 62
入選二回の合計 124 ≥ 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:介绍大模型MoE训练基础设施
- 推薦理由
- MoE訓練スタックのスループットとメモリの実測データが示されており、大規模MoE訓練のオープンな選択肢が実用に耐えるかを判断できる。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Hugging Face Blog · huggingface.co