本文へ移動
原文
AWS Machine Learning Blog· Dustin Liu·· 11 時間前

Amazon Bedrock のオープンウェイトモデルでプロンプトキャッシュを実現

Use prompt caching with open-weight models on Amazon Bedrock

AI による要約

Amazon Bedrock のオープンウェイトモデルが明示的なプロンプトキャッシュに対応した。同じプロンプト接頭辞の計算済み状態を再利用でき、入力コストと応答遅延を抑えられる。キャッシュには暗黙(自動・ベストエフォート)と明示(prompt_cache_options で breakpoint を指定)の2モードがあり、キャッシュ読み取りは標準入力より低い価格で課金される。

入選の記録

入選せず二回の合計 72 < 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:AWS博客讲Bedrock提示缓存与AI模型推理

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:AWS Machine Learning Blog · aws.amazon.com