Hugging Face 展示 Transformers MoE 专家流式推理
先了解这件事
AI 综述
2026 年 11 月 18 日,Hugging Face 博客发布文章,介绍用 Transformers 实现 MoE 专家流式加载。作者在配备 32GB 统一内存的 MacBook M5 上,让 FP8 专家合计 121GB 的 Qwen3.8-Flash-Next 模型得以运行。实测短解码速度为 13.9 tok/s,比 Strata 的 14.8 tok/s 慢约 6%;预填充速度为 228 tok/s,略快于 Strata 的 220 tok/s。报道未提及该方案此前是否有其他版本或更早进展。
AI 根据报道生成 · 2 小时前更新
最新进展11月18日 08:00
Hugging Face 博客实测 32GB MacBook M5 上 MoE 专家流式推理,解码略慢于 Strata。报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hugging Face Blog180B 参数跑在 32GB 内存上:用 Transformers 把 MoE 推理推到极限
作者在 32GB 统一内存的 MacBook M5 上,用 Transformers 实现 MoE 专家流式加载,让 121GB FP8 专家的 Qwen3.8-Flash-Next 跑起来,短解码 13.9 tok/s,比 Strata 的 14.8 tok/s 慢约 6%,预填充 228 tok/s 略快于 Strata 的 220 tok/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。