本文へ移動

#デプロイ・運用

今日 0 件

11月14日

土曜日
  1. Amazon Bedrock AgentCore runtimeの高速セッション起動を実現するアーキテクチャパターン

    Amazon Bedrock AgentCore runtimeのplatformVersion「V2」は、作成・更新時にスナップショットを一度だけ構築し、新規セッションはそのスナップショットから直接復元する方式に変更。毎回コンテナイメージを取得する必要がなくなり、セッション起動がより高速で安定する。

  2. Amazon Bedrock 上で NVIDIA NeMo Switchyard を使い、コーディングエージェントのリクエストを適切なモデルにルーティングする

    NVIDIA NeMo Switchyard は、AI エージェントがリクエストごとに処理するモデルを選べるようにするオープンソースライブラリである。LiteLLM との統合により、Stage ルーティング(リクエスト履歴内のツールの活動と結果を読み取り、2 つの候補モデルから選択)と Random ルーティング(重み付けで振り分けて A/B 比較)に対応する。

  3. Amazon SageMaker HyperPod Data Captureでモデル改善のフライホイールを構築

    Amazon SageMaker HyperPodにData Capture機能が追加された。エンドポイント、ロードバランサー、モデルPodの3つの独立した階層でオンライン推論の入出力をAmazon S3に記録でき、モデルの可用性への影響はゼロだ。記事ではQwen2.5-3B-Instructを使った家電サポートのルーティングモデルを例に、Athenaでのクエリで新製品に対する盲点を発見し、SQLポリシーでラベル付けしてファインチューニングを実施、デプロイ後に新たに得たデータで前後の精度を比較している。

11月13日

金曜日
  1. llama.cpp と ggml が v1.0.0 をリリース、セマンティックバージョニングの規則を確立

    llama.cpp と ggml が v1.0.0 をリリースし、今後パブリック C API の破壊的変更はメジャーバージョンの引き上げで示すと明言した。プロジェクト側によると、llama.cpp は現在 150 以上のモデルアーキテクチャと主要な投機的デコーディング手法をすべてサポートし、Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework などの経路で配布されている。

  2. NVIDIAはAIでケアチームが患者に早く正しい治療を届けるのをどう支援するか

    Dyania Healthの臨床推論エンジンSynapsis AIはNVIDIAの高速化コンピューティング上で動作し、患者の数十年分のカルテにある自由記述のノート、レポート、検査結果をまたいで手がかりを結びつけ、元の記録までたどれる臨床シグナルを出力する。

  3. Amazon Bedrockのコストに影響する4つの推論オプション

    Amazon Bedrockのキャッシュ期間、サービス階層、推論強度、maxTokensという4つのリクエスト単位の設定は、モデルやプロンプトを変えずに推論コストへ影響する。Claude Sonnet 5とClaude Opus 5を例にすると、5分キャッシュの書き込みは入力価格の1.25倍、1時間の書き込みは2倍、キャッシュ読み取りは0.1倍で課金され、1時間キャッシュは毎時3回以上のリクエストがないと割に合わない。

  4. Amazon Bedrock AgentCore runtime を更新、セッション起動が最大15倍高速化・計算資源は4倍に

    AWS は次世代の Amazon Bedrock AgentCore runtime を発表した。各セッションは引き続き独立した Firecracker MicroVM 上で動作し、セッション起動は最大15倍高速、計算資源の規模は4倍、実行効率は最大68%向上する。

  5. Amazon BedrockとLiteLLMでセルフサービス型LLMゲートウェイを構築

    AWSは、Amazon Bedrock Application Inference ProfilesとLiteLLMを組み合わせたセルフサービス型LLMゲートウェイの構成を紹介した。BedrockをOpenAI互換APIとして包み込み、開発者は単一のベースURLと専用APIキーでClaude SonnetやClaude Haikuなどのモデルに接続できる。

  6. Amazon Bedrockでタスク単価を最適化し、エージェントのROIを証明する

    AWSは、Amazon Bedrock上のエージェント費用を「トークン単価」ではなく「タスク単価」で測ることを提唱し、キャッシュ、ルーティング、出力制約などのコスト削減手段を示した。例では、リスト価格が2倍のModel Bが、トークナイザーの効率と簡潔な出力、1ターンでの完了により、タスク単価$0.00145となり、Model Aの$0.0042より65%低くなった。記事はさらに、人手によるベースライン、ホールドアウト実験、5次元のスコアカードでエージェントのROIを測る方法を示している。

  7. CUR 2.0とAWS BudgetsでIAMプリンシパル別にAmazon Bedrockの支出を追跡・制限

    AWSが、コードを書かずにIAMプリンシパル別にAmazon Bedrockの生成AI支出を追跡・制限する方法を提示した。Bedrockは推論リクエストごとにIAMユーザーまたはロールの身元を自動記録し、プリンシパルタグやセッションタグと組み合わせることで共有ロール下の個別ユーザーも区別できる。

  8. Amazon Bedrock Managed Knowledge Base ツールの細粒度アクセス制御方案

    エージェントがユーザーの代わりに社内文書を検索する際の権限逸脱リスクに対し、この方案は Amazon Bedrock AgentCore Gateway のツール層でリクエストインターセプターを用いて検証済み JWT から userContext を注入し、Managed Knowledge Base の ACL awareness がユーザー権限に応じて文書をフィルタリングする。

  9. AWS上でA2Aを使い、組み合わせ可能で相互運用性のあるマルチエージェントシステムを構築

    AWSはA2Aプロトコルに基づくマルチエージェントのリファレンスアーキテクチャを公開した。LangChainベースの企業向けオーケストレーターと、Strands Agentsで構築したSaaSコンプライアンスエージェントが、AWSアカウントと組織の境界を越えて連携する。双方は相手のフレームワークやSDKに依存せず、秘密情報も共有しない。

  10. コーディングエージェントで Amazon Bedrock Managed Knowledge Base へ移行

    Agent Toolkit for AWS の amazon-bedrock スキルにナレッジベース移行ガイドが追加された。コーディングエージェントがまず読み取り専用の調査を行い、行単位でレビューできる移行計画を提示。承認後は新しいナレッジベースとデータソースを並行して作成するか、IaC テンプレートを生成する。

11月12日

木曜日
  1. Amazon SageMaker HyperPodでサイレントデータ破損を検出・復旧

    Amazon SageMaker HyperPodは、PyTorch DDPの学習ループに3つのチェックを追加することでサイレントデータ破損(SDC)を検出する。非有限勾配チェックでNaN/Infを捕捉し、リングリプレイ監査で別ノードが再計算したlossと勾配のフィンガープリントを照合し、重みフィンガープリントの照合でオプティマイザのステップや保存された重みに生じた破損を発見する。

  2. 反単一化(anti-unification)による形式ポリシーの意味的diff

    オープンソースエンジンは反単一化(anti-unification)を用いてe-graph上で2つの形式ポリシーの最も具体的な共通パターンを計算し、共通部分を一度だけ表示し、差異部分を並べて保持することで、連言項の並べ替えや等価な述語といった構文上のノイズを除去する。

  3. Amazon BedrockとSpring AIで自律型AIエージェントを構築

    JavaチームはSpring AIとAmazon Bedrock AgentCoreを活用し、計画立案、ツール呼び出し、複数ターンの会話記憶を備えた自律型AIエージェントを構築できる。記事では2つの例を示す。単一エージェントの旅行アシスタントでツール呼び出しと記憶を実演し、マルチエージェントのインテリジェント文書処理(IDP)システムはLawyer、Mortgage、Insurance、Tax、Generalの5つの専門エージェントがルールエンジンとアラートを伴って動作する。

  4. AWSの10月AIアップデート:Claude Haiku 5.5とGPT-6.1 TerraがAmazon Bedrockで提供開始

    AWSはAI開発者向けの10月アップデートを発表した。Claude Haiku 5.5とOpenAIのGPT-6.1 TerraがAmazon Bedrockで利用可能になり、後者はAgents' Last ExamでGPT-6 Astraと同等の成績を示し、タスク完了は3倍以上速く、トークン価格は少なくとも50%安い。

  5. AWS、再利用可能な生成AI資産23点のカタログを公開 開発期間を数カ月から数週間に短縮

    AWS Generative AI Innovation Center(現在はAWS Frontier AI Engineering & Servicesに所属)は、RAGパイプラインや文書処理、エージェントの足場(スキャフォールディング)などを含む本番品質の再利用可能な資産23点のカタログを公開した。開発期間を数カ月から数週間に短縮できる。

  6. Amazon SageMaker AIの双方向ストリーミング推論に従量課金を導入

    Amazon SageMaker AIの双方向ストリーミング推論に従量課金が加わった。モデルプロバイダーは、リアルタイムストリーム中の実際の利用量をAWS Marketplaceに報告できる。ローンチパートナーのDeepgramは、従量課金のSTTとTTSをAWS Marketplaceに導入する。計測記録は独立したメタデータ用WebSocket接続で送信され、SageMaker AIエンドポイントのインフラ費用は従来どおり別途発生する。

  7. AWS、AIエージェントのクローズドループ評価を可能にするUAEFをオープンソース化

    AWSはオープンソースフレームワークUAEFを公開した。アダプターでLangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore、Langfuseの実行トレースをAgentTraceに統一し、7次元36項目の組み込み指標で採点する。

11月11日

水曜日
  1. LangGraphとAmazon Bedrock AgentCore Web Searchで毎日の依存関係を監視する

    Amazon Bedrock AgentCoreのWeb Search APIが利用可能になった。1回のAPI呼び出しで、タイトル、URL、公開日、要約を含むリアルタイムのウェブ検索結果を返す。クエリはAmazonが自社構築したインデックスで処理され、サードパーティの検索エンジンを経由しない。

  2. Amazon Bedrock AgentCore Evaluations によるエージェント評価ガイド:組み込み、DeepEval、AutoEval の各評価器

    Amazon Bedrock AgentCore Evaluations は、組み込み、DeepEval、AutoEval の3種類の評価器を提供する。組み込み評価器は AWS が作成し品質テストを経た16種類で、応答品質、タスク完了、ツール使用、スキル、安全性の5つの次元をカバーする。

  3. Amazon Bedrock tokenomics データレイク:アカウント横断のモデル呼び出しを集中観測

    AWS は Amazon Bedrock の呼び出しを観測するデータレイクのソリューションを公開した。CloudWatch のログ購読で複数アカウントのモデル呼び出しログを中心アカウントに集約し、Data Firehose で Parquet に変換して S3 に書き込み、Athena で統合的にクエリする。