本文へ移動

#デプロイ・運用

今日 0 件

11月15日

日曜日
  1. Datasetteプラグイン「datasette-llm」0.1a11がリリース、OpenAI互換エンドポイントに対応

    Datasetteの仲介プラグイン「datasette-llm」が0.1a11をリリースし、OpenAI互換エンドポイントへの対応を追加した。このプロトコルに従うLLMサービスを任意に設定できる。LM Studio、Ollama、v1.0.0が公開されたばかりのllama.cppでローカルモデルを動かしている場合、uvxでローカルモデル駆動のDatasette Agentインスタンスを起動できる。

11月14日

土曜日
  1. Amazon Bedrock AgentCore runtimeの高速セッション起動を実現するアーキテクチャパターン

    Amazon Bedrock AgentCore runtimeのplatformVersion「V2」は、作成・更新時にスナップショットを一度だけ構築し、新規セッションはそのスナップショットから直接復元する方式に変更。毎回コンテナイメージを取得する必要がなくなり、セッション起動がより高速で安定する。

  2. Amazon Bedrock 上で NVIDIA NeMo Switchyard を使い、コーディングエージェントのリクエストを適切なモデルにルーティングする

    NVIDIA NeMo Switchyard は、AI エージェントがリクエストごとに処理するモデルを選べるようにするオープンソースライブラリである。LiteLLM との統合により、Stage ルーティング(リクエスト履歴内のツールの活動と結果を読み取り、2 つの候補モデルから選択)と Random ルーティング(重み付けで振り分けて A/B 比較)に対応する。

  3. Amazon SageMaker HyperPod Data Captureでモデル改善のフライホイールを構築

    Amazon SageMaker HyperPodにData Capture機能が追加された。エンドポイント、ロードバランサー、モデルPodの3つの独立した階層でオンライン推論の入出力をAmazon S3に記録でき、モデルの可用性への影響はゼロだ。記事ではQwen2.5-3B-Instructを使った家電サポートのルーティングモデルを例に、Athenaでのクエリで新製品に対する盲点を発見し、SQLポリシーでラベル付けしてファインチューニングを実施、デプロイ後に新たに得たデータで前後の精度を比較している。

11月13日

金曜日
  1. llama.cpp と ggml が v1.0.0 をリリース、セマンティックバージョニングの規則を確立

    llama.cpp と ggml が v1.0.0 をリリースし、今後パブリック C API の破壊的変更はメジャーバージョンの引き上げで示すと明言した。プロジェクト側によると、llama.cpp は現在 150 以上のモデルアーキテクチャと主要な投機的デコーディング手法をすべてサポートし、Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework などの経路で配布されている。

  2. NVIDIAはAIでケアチームが患者に早く正しい治療を届けるのをどう支援するか

    Dyania Healthの臨床推論エンジンSynapsis AIはNVIDIAの高速化コンピューティング上で動作し、患者の数十年分のカルテにある自由記述のノート、レポート、検査結果をまたいで手がかりを結びつけ、元の記録までたどれる臨床シグナルを出力する。

  3. ElevenLabs、会議記録と音声入力の実験的アプリ「ElevenAI」を公開

    ElevenLabsは今週、会議記録、音声入力、エージェント連携を一つにまとめた実験的アプリ「ElevenAI」を公開した。現在はプレビュー段階で、早期アクセスの申し込みが必要。会議をまたいだデータ検索や会話中のリアルタイム支援が可能で、ElevenAgentを通じてメール下書きの作成などの後続アクションも実行できる。音声入力は90以上の言語に対応し、業界用語の認識もできるという。

  4. Amazon Bedrockのコストに影響する4つの推論オプション

    Amazon Bedrockのキャッシュ期間、サービス階層、推論強度、maxTokensという4つのリクエスト単位の設定は、モデルやプロンプトを変えずに推論コストへ影響する。Claude Sonnet 5とClaude Opus 5を例にすると、5分キャッシュの書き込みは入力価格の1.25倍、1時間の書き込みは2倍、キャッシュ読み取りは0.1倍で課金され、1時間キャッシュは毎時3回以上のリクエストがないと割に合わない。

  5. Nebius、2027年に400億ドルの支出を計画 マイクロソフトのデータセンター案件は遅延

    Nebiusは第3四半期の決算説明会で、2027年に400億ドルの支出を計画していると明らかにした。ウォール街の予想を大きく上回る規模で、資金は主に顧客の前払い金と顧客契約を担保とした融資で賄う。最大顧客の一つであるマイクロソフトのニュージャージー州Vinelandのデータセンターは数カ月遅延しており、契約額は最大194億ドル。年末までに納入予定なのは容量の半分強にとどまり、残りは2027年第2四半期にずれ込む。

  6. Amazon Bedrock AgentCore runtime を更新、セッション起動が最大15倍高速化・計算資源は4倍に

    AWS は次世代の Amazon Bedrock AgentCore runtime を発表した。各セッションは引き続き独立した Firecracker MicroVM 上で動作し、セッション起動は最大15倍高速、計算資源の規模は4倍、実行効率は最大68%向上する。

  7. Amazon BedrockとLiteLLMでセルフサービス型LLMゲートウェイを構築

    AWSは、Amazon Bedrock Application Inference ProfilesとLiteLLMを組み合わせたセルフサービス型LLMゲートウェイの構成を紹介した。BedrockをOpenAI互換APIとして包み込み、開発者は単一のベースURLと専用APIキーでClaude SonnetやClaude Haikuなどのモデルに接続できる。

  8. Amazon Bedrockでタスク単価を最適化し、エージェントのROIを証明する

    AWSは、Amazon Bedrock上のエージェント費用を「トークン単価」ではなく「タスク単価」で測ることを提唱し、キャッシュ、ルーティング、出力制約などのコスト削減手段を示した。例では、リスト価格が2倍のModel Bが、トークナイザーの効率と簡潔な出力、1ターンでの完了により、タスク単価$0.00145となり、Model Aの$0.0042より65%低くなった。記事はさらに、人手によるベースライン、ホールドアウト実験、5次元のスコアカードでエージェントのROIを測る方法を示している。

  9. CUR 2.0とAWS BudgetsでIAMプリンシパル別にAmazon Bedrockの支出を追跡・制限

    AWSが、コードを書かずにIAMプリンシパル別にAmazon Bedrockの生成AI支出を追跡・制限する方法を提示した。Bedrockは推論リクエストごとにIAMユーザーまたはロールの身元を自動記録し、プリンシパルタグやセッションタグと組み合わせることで共有ロール下の個別ユーザーも区別できる。

  10. Amazon Bedrock Managed Knowledge Base ツールの細粒度アクセス制御方案

    エージェントがユーザーの代わりに社内文書を検索する際の権限逸脱リスクに対し、この方案は Amazon Bedrock AgentCore Gateway のツール層でリクエストインターセプターを用いて検証済み JWT から userContext を注入し、Managed Knowledge Base の ACL awareness がユーザー権限に応じて文書をフィルタリングする。

  11. AWS上でA2Aを使い、組み合わせ可能で相互運用性のあるマルチエージェントシステムを構築

    AWSはA2Aプロトコルに基づくマルチエージェントのリファレンスアーキテクチャを公開した。LangChainベースの企業向けオーケストレーターと、Strands Agentsで構築したSaaSコンプライアンスエージェントが、AWSアカウントと組織の境界を越えて連携する。双方は相手のフレームワークやSDKに依存せず、秘密情報も共有しない。

  12. コーディングエージェントで Amazon Bedrock Managed Knowledge Base へ移行

    Agent Toolkit for AWS の amazon-bedrock スキルにナレッジベース移行ガイドが追加された。コーディングエージェントがまず読み取り専用の調査を行い、行単位でレビューできる移行計画を提示。承認後は新しいナレッジベースとデータソースを並行して作成するか、IaC テンプレートを生成する。

11月12日

木曜日
  1. Amazon SageMaker HyperPodでサイレントデータ破損を検出・復旧

    Amazon SageMaker HyperPodは、PyTorch DDPの学習ループに3つのチェックを追加することでサイレントデータ破損(SDC)を検出する。非有限勾配チェックでNaN/Infを捕捉し、リングリプレイ監査で別ノードが再計算したlossと勾配のフィンガープリントを照合し、重みフィンガープリントの照合でオプティマイザのステップや保存された重みに生じた破損を発見する。

  2. 反単一化(anti-unification)による形式ポリシーの意味的diff

    オープンソースエンジンは反単一化(anti-unification)を用いてe-graph上で2つの形式ポリシーの最も具体的な共通パターンを計算し、共通部分を一度だけ表示し、差異部分を並べて保持することで、連言項の並べ替えや等価な述語といった構文上のノイズを除去する。

  3. Amazon BedrockとSpring AIで自律型AIエージェントを構築

    JavaチームはSpring AIとAmazon Bedrock AgentCoreを活用し、計画立案、ツール呼び出し、複数ターンの会話記憶を備えた自律型AIエージェントを構築できる。記事では2つの例を示す。単一エージェントの旅行アシスタントでツール呼び出しと記憶を実演し、マルチエージェントのインテリジェント文書処理(IDP)システムはLawyer、Mortgage、Insurance、Tax、Generalの5つの専門エージェントがルールエンジンとアラートを伴って動作する。

  4. AWSの10月AIアップデート:Claude Haiku 5.5とGPT-6.1 TerraがAmazon Bedrockで提供開始

    AWSはAI開発者向けの10月アップデートを発表した。Claude Haiku 5.5とOpenAIのGPT-6.1 TerraがAmazon Bedrockで利用可能になり、後者はAgents' Last ExamでGPT-6 Astraと同等の成績を示し、タスク完了は3倍以上速く、トークン価格は少なくとも50%安い。

  5. AWS、公式ローカルエミュレーター「aws-emulator」を公開

    AWSは公式エミュレーター「aws-emulator」を公開した。複数のサービスのクローンをローカルで実行してテストでき、有料APIキーの発行は不要。Rustで書かれ、最初の3週間で29,684件のコミットが大量のエージェントの協働により生まれた。Swaminathan Sivasubramanian氏がWerner Vogels氏のブログのゲスト記事で成り立ちを紹介している。

  6. CoreWeave、顧客の前払いと短期契約に軸足を移しAI拡大の資金を調達

    CoreWeaveは第3四半期決算で、無担保債務市場からの調達に代えて、顧客への前払い要求や特定契約を担保とした借り入れ、価格の高い短期契約の締結を増やしていると述べた。当四半期の売上高は36億6000万ドルで前年同期比168%増となった一方、純損失は7億900万ドル、四半期の支払利息は8億4600万ドルに上り、未履行の受注残は1325億ドルに達した。今後3カ月で約90億ドルの顧客前払いと預託金を得る見通し。