Hugging Face Blog·· 22 時間前
180Bパラメータを32GBメモリで動かす:TransformersでMoE推論を極限まで
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI による要約
著者は32GBのユニファイドメモリを搭載したMacBook M5上で、TransformersによるMoEエキスパートのストリーミング読み込みを実装し、121GBのFP8エキスパートを持つQwen3.8-Flash-Nextを動作させた。短いデコードは13.9 tok/sで、Strataの14.8 tok/sより約6%遅く、プリフィルは228 tok/sでStrataの220 tok/sよりやや速い。
入選の記録
基準 60公式・一次情報1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:MoE推理优化与专家流式加载技术实践
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Hugging Face Blog · huggingface.co