跳到正文

Hugging Face 展示 Transformers MoE 专家流式推理

先了解这件事

AI 综述

2026 年 11 月 18 日,Hugging Face 博客发布文章,介绍用 Transformers 实现 MoE 专家流式加载。作者在配备 32GB 统一内存的 MacBook M5 上,让 FP8 专家合计 121GB 的 Qwen3.8-Flash-Next 模型得以运行。实测短解码速度为 13.9 tok/s,比 Strata 的 14.8 tok/s 慢约 6%;预填充速度为 228 tok/s,略快于 Strata 的 220 tok/s。报道未提及该方案此前是否有其他版本或更早进展。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Hugging Face Blog
    180B 参数跑在 32GB 内存上:用 Transformers 把 MoE 推理推到极限

    作者在 32GB 统一内存的 MacBook M5 上,用 Transformers 实现 MoE 专家流式加载,让 121GB FP8 专家的 Qwen3.8-Flash-Next 跑起来,短解码 13.9 tok/s,比 Strata 的 14.8 tok/s 慢约 6%,预填充 228 tok/s 略快于 Strata 的 220 tok/s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。