AWS Machine Learning Blog· Ananth Raghavendra·· 4 天前
用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers，可在 Amazon EKS 上把单个大语言模型拆分到两个 GPU 节点，以 prefill/decode 分离方式共用一个 OpenAI 兼容端点。
入选记录
门槛 60官方一手第一次 38第二次 31
未入选两次之和 69 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：多节点LLM推理部署教程，含模型与工具
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com