AWS Machine Learning Blog· Dmitry Soldatkin·· 1 日前
Amazon SageMaker AIのリアルタイムエンドポイントがKVキャッシュ対応ルーティングをサポート
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AI による要約
Amazon SageMaker AIはリアルタイムエンドポイント向けにKVキャッシュ対応ルーティング(KV_AWARE)を導入した。モデルコンテナが報告するキャッシュ状態に基づき、キャッシュの一致が最も長く、かつ過負荷でないインスタンスへリクエストを振り分ける。
入選の記録
基準 60公式・一次情報1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:SageMaker AI新增KV缓存感知路由,属AI推理技术
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:AWS Machine Learning Blog · aws.amazon.com