AWS Machine Learning Blog· Dustin Liu·· 11 小时前
在 Amazon Bedrock 上用开放权重模型实现提示词缓存
Use prompt caching with open-weight models on Amazon Bedrock
AI 导读
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,可复用相同提示词前缀的已计算状态,降低输入成本与响应延迟。缓存分隐式(自动、尽力而为)和显式(用 prompt_cache_options 标记 breakpoint)两种模式,缓存读取按低于标准输入的价格计费。
入选记录
门槛 60官方一手第一次 34第二次 38
未入选两次之和 72 < 门槛的两倍 120
- 信源等级
- 官方一手,这一级的门槛是 60 分
- 预筛
- 通过:AWS博客讲Bedrock提示缓存与AI模型推理
评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源:AWS Machine Learning Blog · aws.amazon.com