Hugging Face Blog·· 18 時間前
PyTorch 2.15、MPS に FP8 を導入し LLM デコードを高速化
MPS in PyTorch 2.15
AI による要約
PyTorch 2.15 は MPS バックエンドに FP8 テンソルと F.scaled_mm を追加し、MoE モデルのデコードを 2.14 比で 5~6.5 倍高速化した。Qwen3.6-35B-A3B は M3 Ultra 上で 9.4 から 61.3 tokens/s に向上している。
入選の記録
基準 60公式・一次情報1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:PyTorch MPS后端AI模型推理优化更新
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Hugging Face Blog · huggingface.co