Hugging Face、TransformersによるMoEエキスパートのストリーミング推論を公開
まずはこの出来事を
AI によるまとめ
2026年11月18日、Hugging FaceのブログがTransformersでMoEのエキスパートをストリーミング読み込みする方法を紹介する記事を公開した。著者は32GBのユニファイドメモリを搭載したMacBook M5上で、FP8エキスパートの合計が121GBになるQwen3.8-Flash-Nextモデルを動作させた。実測では短いデコード速度が13.9 tok/sで、Strataの14.8 tok/sより約6%遅い。プリフィル速度は228 tok/sで、Strataの220 tok/sをわずかに上回った。この手法に以前のバージョンやより早い進展があったかどうかは報じられていない。
報道をもとに AI が作成 · 2 時間前に更新
報道の時系列
報道をたどり、出来事のさまざまな面を知る。
11月18日
- Hugging Face Blog180Bパラメータを32GBメモリで動かす:TransformersでMoE推論を極限まで
著者は32GBのユニファイドメモリを搭載したMacBook M5上で、TransformersによるMoEエキスパートのストリーミング読み込みを実装し、121GBのFP8エキスパートを持つQwen3.8-Flash-Nextを動作させた。短いデコードは13.9 tok/sで、Strataの14.8 tok/sより約6%遅く、プリフィルは228 tok/sでStrataの220 tok/sよりやや速い。
この出来事の注目度の推移
連続した観測データがまだ足りないため、推移は描いていません。