本文へ移動
原文
AWS Machine Learning Blog· Shubham Gupta·· 1 日前

ArisGlobal、Amazon Bedrockで生成AI推論をどう拡張したか

How ArisGlobal scaled generative AI inference on Amazon Bedrock

AI による要約

ArisGlobalは生命科学向けAIエンジンNavaXで、Amazon Bedrock上のプロンプトキャッシュの順序を調整し、個々のソース文書ではなく共有プロンプトのプレフィックスをキャッシュ対象にした。これにより実効入力コストを下げ、コストを比例的に増やさずにより多くのテナントを支えられるようにした。

入選の記録

入選せず二回の合計 72 < 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:生成式AI推理优化与Bedrock缓存实践

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:AWS Machine Learning Blog · aws.amazon.com