跳到正文
原文
AWS Machine Learning Blog· Dustin Liu·· 11 小时前

在 Amazon Bedrock 上用开放权重模型实现提示词缓存

Use prompt caching with open-weight models on Amazon Bedrock

AI 导读

Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,可复用相同提示词前缀的已计算状态,降低输入成本与响应延迟。缓存分隐式(自动、尽力而为)和显式(用 prompt_cache_options 标记 breakpoint)两种模式,缓存读取按低于标准输入的价格计费。

入选记录

未入选两次之和 72 < 门槛的两倍 120

信源等级
官方一手,这一级的门槛是 60 分
预筛
通过:AWS博客讲Bedrock提示缓存与AI模型推理

评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。

来源:AWS Machine Learning Blog · aws.amazon.com