本文へ移動

デプロイ・運用

モデルを動かすための実践:推論の最適化、メモリとコスト、サービング構成、インフラの選び方。

最新の精選

41–60 件目 · 全 79 件

9月29日

火曜日

9月24日

木曜日
  1. Microsoft Research、ロボット外への物理AI推論オフロードで成功率と稼働時間を向上

    Microsoft Researchは移動マニピュレーションロボットのワークロードを体系的に測定し、物理AI推論をロボット上のGPUからエッジやクラウドのGPUへ移すことで、タスク成功率の向上、大規模モデルの利用、稼働時間の延長が可能だと示した。

9月22日

火曜日
  1. NVIDIA、Isaac ROS 5.0 を公開、エージェントを使うオープンソースロボット開発を推進

    NVIDIA は Toronto の ROSCon で Isaac ROS 5.0 を公開した。ROS ベースの GPU 高速化パッケージ群で、エージェントのワークフローとプラットフォーム対応を追加し、ロボットアプリの構築、カスタマイズ、配備を速める。

9月17日

木曜日

9月16日

水曜日
  1. NVIDIA、DSX による AI 工場の1 MW 当たり生産性向上を解説

    NVIDIA は AI Infra Summit で、一定の電力予算内で AI 工場のトークンスループットを高める DSX を紹介した。Lambda は5ラック・19ノードの HGX B200 クラスターで DSX MaxLPS を検証し、16ノードの最大電力と同じ予算で19ノードを稼働させた。トークンスループットは毎秒約400万から500万に24%増え、1ワット当たり性能は23%向上した。

9月5日

土曜日
  1. GitHub、複数モデルの編成で最先端のコーディング品質を実現するProject HydraFusionを公開

    GitHubはProject HydraFusionの研究プレビューを公開した。実行時の複数モデルの編成でCopilotに最先端のコーディング能力を提供する。Copilot CLIで/experimentalから有効化でき、各モデルが実際に使うトークンの標準料金で課金される。

9月1日

火曜日
  1. Hugging Face、@huggingface/kernelsを公開:207のWebGPUカーネルとFleetベンチマーク

    Hugging FaceのWebAIチームは、Hubから最適化済みWebGPUカーネルを読み込み実行する軽量ライブラリ@huggingface/kernelsを公開した。初期の207カーネルも、それぞれ独立したリポジトリでApache-2.0ライセンスにより公開した。

8月21日

金曜日

8月14日

金曜日
  1. Strands Agents、LeRobot、Hugging Face Storage Bucketsで記録・学習・配置を一巡させる

    Hugging FaceのブログはStrands Robotsのストリーミングデータ循環のチュートリアルを公開した。同じRobot()オブジェクトで実演を記録し、Storage Bucketへ同期し、Hubからストリーミングで読み込んで学習し、チェックポイントをハードウェアへ戻して配置する。全工程でLeRobotのディスク形式は変えない。

8月11日

火曜日
  1. NVIDIA、12言語対応のオープンウェイト音声モデルMagpie TTS Multilingualを公開

    NVIDIAは3億6400万パラメーターのオープンウェイト音声合成モデルMagpie TTS Multilingualを公開した。英語、スペイン語、フランス語、ドイツ語、イタリア語、ベトナム語、中国語、ヒンディー語、日本語に加え、新たな現代標準アラビア語、韓国語、ブラジルポルトガル語の計12言語に対応する。

7月8日

水曜日
  1. Hugging Face、ネイティブ並みの速度のvLLM transformersモデリングバックエンドを公開

    Hugging Faceは、vLLMのtransformersモデリングバックエンドが複数のLLM構造で、vLLMの手書きネイティブ実装と同等以上の処理速度に達したと発表した。torch.fxによる静的グラフ解析とastによるソース書き換えで、推論向けの層融合を実行時に動的適用し、専用コードと同等の性能を実現する。

7月7日

火曜日
  1. Hugging Face と SkyPilot、外向き通信料ゼロのストレージ連携を公開

    Hugging Face と SkyPilot は連携を公開した。hf:// URL と既存の HF_TOKEN で Hugging Face Bucket または任意のモデル・データセット・Space リポジトリーを SkyPilot の作業にマウントし、20超のクラウド、Kubernetes、Slurm、ローカル環境で実行できる。

6月27日

土曜日

6月24日

水曜日

6月23日

火曜日
  1. Mistral、文書解析モデル OCR 4 を公開

    Mistral は OCR 4 を公開した。文字抽出に加え、境界ボックス、ブロック種別、ページ・単語ごとの信頼度を返す。170言語に対応し、単一コンテナで自社運用できる。600超の文書で独立した評価者による盲検評価を行い、平均72%が OCR 4 を好んだとする。OlmOCRBench は85.20、OmniDocBench は93.07だが、両基準の採点方式には既知の限界があると注意する。

6月11日

木曜日