Hugging Face Blog·· 22 小时前
180B 参数跑在 32GB 内存上:用 Transformers 把 MoE 推理推到极限
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
作者在 32GB 统一内存的 MacBook M5 上,用 Transformers 实现 MoE 专家流式加载,让 121GB FP8 专家的 Qwen3.8-Flash-Next 跑起来,短解码 13.9 tok/s,比 Strata 的 14.8 tok/s 慢约 6%,预填充 228 tok/s 略快于 Strata 的 220 tok/s。
入选记录
门槛 60官方一手第一次 58第二次 58
未入选两次之和 116 < 门槛的两倍 120
- 信源等级
- 官方一手,这一级的门槛是 60 分
- 预筛
- 通过:MoE推理优化与专家流式加载技术实践
评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源:Hugging Face Blog · huggingface.co