本文へ移動

Hugging Face、TransformersによるMoEエキスパートのストリーミング推論を公開

まずはこの出来事を

AI によるまとめ

2026年11月18日、Hugging FaceのブログがTransformersでMoEのエキスパートをストリーミング読み込みする方法を紹介する記事を公開した。著者は32GBのユニファイドメモリを搭載したMacBook M5上で、FP8エキスパートの合計が121GBになるQwen3.8-Flash-Nextモデルを動作させた。実測では短いデコード速度が13.9 tok/sで、Strataの14.8 tok/sより約6%遅い。プリフィル速度は228 tok/sで、Strataの220 tok/sをわずかに上回った。この手法に以前のバージョンやより早い進展があったかどうかは報じられていない。

報道をもとに AI が作成 · 2 時間前に更新

報道の時系列

報道をたどり、出来事のさまざまな面を知る。

11月18日
  1. Hugging Face Blog
    180Bパラメータを32GBメモリで動かす:TransformersでMoE推論を極限まで

    著者は32GBのユニファイドメモリを搭載したMacBook M5上で、TransformersによるMoEエキスパートのストリーミング読み込みを実装し、121GBのFP8エキスパートを持つQwen3.8-Flash-Nextを動作させた。短いデコードは13.9 tok/sで、Strataの14.8 tok/sより約6%遅く、プリフィルは228 tok/sでStrataの220 tok/sよりやや速い。

この出来事の注目度の推移

連続した観測データがまだ足りないため、推移は描いていません。