跳到正文
原文
AWS Machine Learning Blog· Vinay Arora·· 22 小时前

Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo

Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

AI 导读

Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合。

入选记录

未入选两次之和 100 < 门槛的两倍 120

信源等级
官方一手,这一级的门槛是 60 分
预筛
通过:AWS博客详述LLM分布式推理部署与基准

评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。

来源:AWS Machine Learning Blog · aws.amazon.com