AWS Machine Learning Blog· Shantanu Tripathi·· 5 時間前
SageMaker Inference が NVIDIA MIG に対応、1 基の GPU を複数のモデルエンドポイントに分割可能
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI による要約
Amazon SageMaker Inference に GPU パーティション機能が追加された。NVIDIA Multi-Instance GPU（MIG）を使い、1 基の物理 GPU を最大 7 つのハードウェア分離されたパーティションに分割し、パーティションごとに異なるモデルをデプロイできる。
入選の記録
基準 60公式・一次情報1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：SageMaker推理GPU分区部署AI模型
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：AWS Machine Learning Blog · aws.amazon.com