AWS Machine Learning Blog· Dustin Liu·· 11 時間前
Amazon Bedrock のオープンウェイトモデルでプロンプトキャッシュを実現
Use prompt caching with open-weight models on Amazon Bedrock
AI による要約
Amazon Bedrock のオープンウェイトモデルが明示的なプロンプトキャッシュに対応した。同じプロンプト接頭辞の計算済み状態を再利用でき、入力コストと応答遅延を抑えられる。キャッシュには暗黙(自動・ベストエフォート)と明示(prompt_cache_options で breakpoint を指定)の2モードがあり、キャッシュ読み取りは標準入力より低い価格で課金される。
入選の記録
基準 60公式・一次情報1 回目 342 回目 38
入選せず二回の合計 72 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:AWS博客讲Bedrock提示缓存与AI模型推理
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:AWS Machine Learning Blog · aws.amazon.com