AWS Machine Learning Blog· Shubham Gupta·· 1 日前
ArisGlobal、Amazon Bedrockで生成AI推論をどう拡張したか
How ArisGlobal scaled generative AI inference on Amazon Bedrock
AI による要約
ArisGlobalは生命科学向けAIエンジンNavaXで、Amazon Bedrock上のプロンプトキャッシュの順序を調整し、個々のソース文書ではなく共有プロンプトのプレフィックスをキャッシュ対象にした。これにより実効入力コストを下げ、コストを比例的に増やさずにより多くのテナントを支えられるようにした。
入選の記録
基準 60公式・一次情報1 回目 382 回目 34
入選せず二回の合計 72 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:生成式AI推理优化与Bedrock缓存实践
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:AWS Machine Learning Blog · aws.amazon.com