Hugging Face Blog·· 1 小时前
AI2 发布 Olmo-core 3：面向万亿参数 MoE 的开源训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
AI2 发布 Olmo-core 3，这是其大语言模型开发框架的一次重大升级，重新设计了开放的 MoE 训练系统，目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
入选记录
门槛 60官方一手第一次 62第二次 62
入选两次之和 124 ≥ 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：介绍大模型MoE训练基础设施
- 推荐理由
- 原文给出 MoE 训练栈的吞吐与显存实测数据，读者可据此判断大规模 MoE 训练的开源方案是否可用。
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Hugging Face Blog · huggingface.co