AWS Machine Learning Blog· Dmitry Soldatkin·· 1 天前
Amazon SageMaker AI 实时端点支持 KV cache 感知路由
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AI 导读
Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV_AWARE),依据模型容器上报的缓存状态,把请求发给缓存匹配最长且不过载的实例。
入选记录
门槛 60官方一手第一次 58第二次 58
未入选两次之和 116 < 门槛的两倍 120
- 信源等级
- 官方一手,这一级的门槛是 60 分
- 预筛
- 通过:SageMaker AI新增KV缓存感知路由,属AI推理技术
评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源:AWS Machine Learning Blog · aws.amazon.com