跳到正文
原文
Hugging Face Blog·· 22 小时前

180B 参数跑在 32GB 内存上:用 Transformers 把 MoE 推理推到极限

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

作者在 32GB 统一内存的 MacBook M5 上,用 Transformers 实现 MoE 专家流式加载,让 121GB FP8 专家的 Qwen3.8-Flash-Next 跑起来,短解码 13.9 tok/s,比 Strata 的 14.8 tok/s 慢约 6%,预填充 228 tok/s 略快于 Strata 的 220 tok/s。

入选记录

未入选两次之和 116 < 门槛的两倍 120

信源等级
官方一手,这一级的门槛是 60 分
预筛
通过:MoE推理优化与专家流式加载技术实践

评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。

来源:Hugging Face Blog · huggingface.co