AWS Machine Learning Blog· Joseph Cottingham·· 6 小时前
别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题，AWS 在 Amazon SageMaker AI 实时端点上部署了 8200 万参数的 Kokoro-82M，用实测的 Q_max（单实例在 SLO 内可承受的最高并发）和 T_total（一次扩容端到端耗时）推算扩容阈值、缩容阈值与两个冷却时间。
入选记录
门槛 60官方一手第一次 31第二次 31
未入选两次之和 62 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：AWS博客讲TTS模型部署与自动扩缩容实测
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com