本文へ移動

#デプロイ・運用

今日 0 件

10月23日

金曜日
  1. Amazon SageMaker AI 上の TTS 自動スケーリング目標値、推測はもう不要

    自前でホストする TTS エンドポイントの自動スケーリング目標値を推測に頼る問題に対し、AWS は Amazon SageMaker AI のリアルタイムエンドポイントに 8200 万パラメータの Kokoro-82M をデプロイし、実測した Q_max(1 インスタンスが SLO 内で処理できる最大同時実行数)と T_total(スケールアウト 1 回のエンドツーエンド所要時間)から、スケールアウトしきい値、スケールインしきい値、2 つのクールダウン時間を算出した。

  2. HIPAA準拠環境でのAI導入:Amazon QuickのPHIデータガバナンス機能

    Amazon QuickはAWSのHIPAA対象サービスで、Web、デスクトップ、モバイルの各クライアントはAWS BAA締結後にPHIを扱える。プラットフォームのチャットエージェントは、臨床ノートなどの非構造化コンテンツと、請求・会員記録などの構造化データをまたいで多段階タスクを実行し、コネクタとMCPを通じて外部システムに接続する。

  3. Amazon SageMaker AI、訓練セッションAPIを発表 GPU管理なしで独自の訓練ループを記述可能

    Amazon SageMaker AIの訓練セッションAPIは、抽象化の層を訓練操作まで下げるものだ。開発者はローカルのPythonで訓練ループを書き、forward_backward、optim_step、sampleなどの呼び出しでマネージドGPU上で実行する。モデルとLoRAの読み込み、分散実行、障害復旧、チェックポイント保存はサービス側が担う。

  4. AWS、SageMaker AIでGPU管理不要のモデルカスタマイズ向けトレーニングセッションを提供開始

    AWSは、SageMaker AIのサーバーレスモデルカスタマイズにおけるトレーニングセッションが正式に利用可能になったと発表した。ユーザーはカスタム損失関数や報酬シグナルを含むトレーニングループを自ら記述・調整でき、GPUの割り当て、分散実行、障害復旧、チェックポイントの保存はプラットフォームが担う。

  5. IskayPet、Amazon Bedrock Managed Knowledge Basesで企業知識を統合する方法

    IskayPetはAmazon Bedrock Managed Knowledge Basesを基に企業知識アシスタントを構築し、従業員が小売運営、獣医療、人事オンボーディング、購買などの文書を自然言語で照会できるようにした。4言語・3カ国をカバーし、RAGインフラを自前で管理する必要はない。

10月22日

木曜日
  1. NVIDIA、AIファクトリー向けエンドツーエンド可観測性を実現するMinervaを発表

    NVIDIAはAIOpsプラットフォーム「Minerva」を発表した。インフラとAIワークロードのテレメトリデータを集約し、専用AIモデルでデータを実行可能な洞察に変換する。GPU、SuperNIC、スイッチ、ストレージ、スケジューラ、ジョブをまたぐ動的ナレッジグラフを構築し、毎時数十億のデータポイントを分析。大量のアラートを根本原因付きの単一イベントに集約できる。

  2. NVIDIAのオープンモデルが欧州公共部門の新たなプロジェクトを後押し

    NVIDIAは欧州各国政府やパートナーと公共部門のAIプロジェクトを推進する。欧州委員会はdeepsetのHaystack Enterprise Platformを基盤にAI@ECを拡張し、ポーランドはNVIDIA DGX BasePODとMONAIで医用画像プラットフォームを構築、ドイツのMaternaはオンプレミス型プラットフォームSinfonieを発表した。

  3. NVIDIAが欧州小売をどう変えるか:デジタル発見から実店舗運営まで

    NVIDIAはオープンモデルとフィジカルインテリジェンスで欧州の小売を変革している。ShopifyはNVIDIA Nemotron 3.5 LightningをポストトレーニングしてGraphQLサブエージェントを構築し、社内ベンチマークで主要なフロンティアモデルを上回る精度を達成、サービスコストを90%削減し、応答速度を7倍にした。

  4. 欧州の金融機関、NVIDIAの高速計算とオープンウェイトモデルで独自インテリジェンスを構築

    RevolutはNVIDIAの高速計算を基盤に、単一の基盤モデルPRAGMAで技術スタックを再構築している。Blackwell Ultra GPU上でcuDFとDynamo-Tritonを用いて本番展開を拡大し、当初は8000万人の顧客にサービスを提供、3倍の拡張に対応できる設計だ。

  5. マルチエージェントシステムの5つの本番課題とDeep Insightの解決策

    AWSソリューションアーキテクチャチームがマルチエージェントシステムDeep Insightをオープンソース化した。Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Trackerなどのエージェントが、CSVデータ分析から引用付きDOCXレポートの自動生成までを担う。

  6. AWS PrivateLink で Amazon Quick の企業内ネットワークへのプライベートアクセスを実現する方法

    AWS は、AWS PrivateLink の VPC エンドポイントと Quick の VPC 接続を通じて、Amazon Quick がパブリックインターネットを経由せずに企業ファイアウォール背後のオンプレミスデータソースへアクセスできるようにする構成を公開した。

  7. U.S. Hunger、Amazon Quickで経営陣とデータをつなぐ

    米国の非営利団体U.S. HungerはAmazon Quickを活用し、経営陣が組織のデータを直接探索できるようにした。SQL Serverのデータは毎晩2時にSPICEインメモリエンジンへ更新される。Quick Spacesは経営チームに共有のKPI定義、財務文書、分析スペースを提供し、現在17名の同僚がアクセス権を持ち、経営幹部、技術、Full Cartプロジェクト、財務、コンプライアンスなどの職能をカバーしている。

  8. Strands Agents ベースの適応型エージェントフレームワーク AAIF、ローカル SLM でリクエストを振り分け、複雑なタスクは Amazon Bedrock へ

    Strands Agents で構築した Adaptive Agentic Intelligence Framework(AAIF)は、llama3.2:1b をオーケストレーション層としてリクエストを分類し、定型タスクは Ollama のローカル SLM で処理、複雑な分析は boto3 経由で Amazon Bedrock にルーティングする。

  9. TorchNeuron の性能プロファイリング(1):AWS Trainium でのシステムレベル性能分析

    Hugging Face のブログが「Profiling TorchNeuron」シリーズの第1回を公開した。AWS Trainium 上で torch.profiler を NeuronConfig および NeuronProfiler と組み合わせてクリーンな trace を取得し、key_averages() テーブルから Neuron デバイス時間を消費する演算子を特定する方法を解説している。

  10. Dharma-AI、語彙の専用化でSLMの推論コストを77%削減

    Dharma-AIはHugging Faceのブログで、近く公開するVocabX論文を紹介した。語彙を頻度ではなくトークンあたりのコストに基づいて再構築する手法により、Qwen3-4Bベースのポルトガル語作文採点器で実測の推論コストを77.0%削減し、平均応答を350トークンから101トークンに、benchスコアを0.703から0.810に改善した。

10月21日

水曜日
  1. NVIDIA、機密コンピューティングを拡張し「Confidential Bare Metal」導入オプションを提供

    NVIDIAは機密コンピューティングの機能を拡張し、新たにConfidential Bare Metal導入オプションを追加した。フロンティアモデルの構築事業者が第三者の専用インフラ上で機密性の高いワークロードを実行する際も、モデルとデータの制御を維持できるようにする。

  2. NVIDIAのクラウドパートナーが欧州で拡大:主権、オープン、安全なAIエージェントのために

    NVIDIAのクラウドパートナーは欧州、北欧、アフリカ、中央アジアでモデル学習と推論向けの地域計算能力を拡大し、エージェントやフィジカルAIアプリケーションを支援している。NscaleはGB300 NVL72システムのテストでNVIDIA DSX MaxLPSを活用し、同じ電力予算でGPUを37%多く配備し、集約推論スループットを約50%向上させた。

  3. Google CloudとNVIDIA、Vera Rubinインフラの一般提供開始を発表

    Google CloudとNVIDIAは、Vera RubinベースのA5Xインスタンスの一般提供開始を発表した。提供は来月からで、欧州への拡大も計画している。A5XはNVIDIA Vera Rubin NVL72、ConnectX-9 SuperNICs、Google Cloud Virgo Network、第4世代液冷技術を統合し、大規模なエージェント推論や強化学習のワークロードに対応する。

  4. NVIDIA、GTC BerlinでRTX Spark、DGX Spark、DGX StationのローカルAI製品群を披露

    NVIDIAはGTC BerlinでローカルAIハードウェアのラインナップをまとめて展示した。RTX SparkはWindows PC上でパーソナルエージェントを実行し、DGX SparkはLinux開発者向け、DGX Stationは企業のフロンティアワークロード向けで、Windows版は12月に登場する見込みだ。

  5. Hugging FaceがTorchTPUに対応、TransformersとDiffusersがTPUをネイティブサポート

    Hugging Faceは、ネイティブなPyTorchバックエンドであるTorchTPUへの対応を発表した。Transformers、Diffusers、KernelsがTPU上で直接動作するようになり、モデルの読み込みはdevice_map="tpu"またはpipe.to("tpu")を渡すだけで済み、torch_xlaやOptimum TPUは不要になった。

  6. AtScale と Amazon Bedrock AgentCore で AWS 上にエージェント AI 向けセマンティックレイヤーを構築

    AWS ブログは、AtScale をセマンティックレイヤーとし、Amazon Bedrock AgentCore 上で Strands エージェントを動かす C360 構成を実演した。AtScale は YAML ベースの Semantic Modeling Language でモデリングし、同一モデルを SQL、XMLA、MCP の 3 プロトコルで同時に公開する。

  7. Strategy MosaicとAmazon Bedrock AgentCoreでAWS上のエージェントAI向けセマンティックレイヤーを構築

    AWSブログは、Strategy MosaicをセマンティックレイヤーとしてAmazon RedshiftとAmazon Aurora上にCustomer 360モデルを構築し、Amazon Bedrock AgentCore上でホストするStrandsエージェントがMCPエンドポイント経由でそのモデルにアクセスする例を紹介した。

  8. Denodo と Amazon Bedrock AgentCore で AWS 上にエージェント AI 向けセマンティックレイヤーを構築

    Denodo Platform をセマンティックレイヤーとして、Amazon Bedrock AgentCore でホストするエージェントと組み合わせ、Amazon Aurora、Amazon Redshift、オンプレミス PostgreSQL の 3 つのデータソースをフェデレーテッドクエリして Customer 360 ビューを構築する方法を解説する。