AWS Machine Learning Blog· Shantanu Tripathi·· 5 小时前
SageMaker Inference 支持 NVIDIA MIG，可将单块 GPU 切分给多个模型端点
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增 GPU 分区能力，基于 NVIDIA Multi-Instance GPU（MIG）把一块物理 GPU 切成最多 7 个硬件隔离分区，每个分区可部署不同模型。
入选记录
门槛 60官方一手第一次 58第二次 58
未入选两次之和 116 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：SageMaker推理GPU分区部署AI模型
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com