本文へ移動
原文
Hugging Face Blog·· 22 時間前

180Bパラメータを32GBメモリで動かす:TransformersでMoE推論を極限まで

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI による要約

著者は32GBのユニファイドメモリを搭載したMacBook M5上で、TransformersによるMoEエキスパートのストリーミング読み込みを実装し、121GBのFP8エキスパートを持つQwen3.8-Flash-Nextを動作させた。短いデコードは13.9 tok/sで、Strataの14.8 tok/sより約6%遅く、プリフィルは228 tok/sでStrataの220 tok/sよりやや速い。

入選の記録

入選せず二回の合計 116 < 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:MoE推理优化与专家流式加载技术实践

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:Hugging Face Blog · huggingface.co