Amazon SageMaker AI 上の TTS 自動スケーリング目標値、推測はもう不要

自前でホストする TTS エンドポイントの自動スケーリング目標値を推測に頼る問題に対し、AWS は Amazon SageMaker AI のリアルタイムエンドポイントに 8200 万パラメータの Kokoro-82M をデプロイし、実測した Q_max（1 インスタンスが SLO 内で処理できる最大同時実行数）と T_total（スケールアウト 1 回のエンドツーエンド所要時間）から、スケールアウトしきい値、スケールインしきい値、2 つのクールダウン時間を算出した。