Amazon SageMaker AI における MoE カーネルエンジニアリング最適化の実践

MoE モデルの decode 段階で M 次元が小さすぎるために Hopper GPU の利用率が低い問題に対し、AWS は Swap-AB 最適化を提案し、エキスパート出力次元 N=8192 を第一オペランドに引き上げた。H200 上で大規模 MoE モデルに 2～4% のエンドツーエンドスループット向上をもたらし、この最適化は vLLM 0.24.0 以降にマージ済みである。