本文へ移動
assaynotes
EN日本語中文

#マルチモーダル

今日 1 件

10月7日

水曜日

  2. Google、マルチモーダル埋め込みモデル EmbeddingGemma 2 を公開

    Google はオープンソースのマルチモーダル埋め込みモデル EmbeddingGemma 2 を公開した。テキスト、画像、動画、音声、コードを数値ベクトルに変換でき、パラメータ数は 7 億 4,000 万。Google によると、マルチモーダル埋め込みベンチマークでパラメータ数が 2 倍の競合モデルを上回り、Massive Text Embedding Benchmark (Code) では 78.68 を記録。前世代の 68.76 から約 10 ポイント改善した。

  3. Google DeepMind、オープンソースのマルチモーダル埋め込みモデル EmbeddingGemma 2 を公開

    Google DeepMind は、Gemma 4 アーキテクチャをベースにした Apache 2.0 ライセンスのオープンソース・マルチモーダル埋め込みモデル EmbeddingGemma 2 を公開した。テキスト、画像、音声、動画を単一の埋め込み空間にマッピングできる。

  4. AppleとGoogleが「録音・録画」の定義を塗り替えようとしている。AIハードは映像を保存せずテキストだけを生成するが、それは録画と言えるのか

    Appleは映像を保存しないスマートホームカメラを開発中で、AIが映像をテキストの説明に変換し、顔認識にも対応するという。Googleのウェアラブル担当Sandeep Waraich氏も、スマートグラスのカメラは画像センサーとしてのみ機能し、クリップは保存しないと述べている。

  5. Simon Willison が Claude Opus 5.5 の作曲能力を検証：再生可能なゲーム音楽の artifact を生成

    Simon Willison は Claude Opus 5.5 に簡単なテキスト音楽フォーマットを設計させ、それを再生できる artifact を構築させた。さらにサンプル曲には初代『モンキーアイランド』の水準を求めた。出来上がった曲は意図した以上にモンキーアイランド色が強かったが、品質は驚くほど良かった。同氏は、テキストモデルによる作曲は以前の 3D グラフィックス能力と同様、ここ数カ月で現れた新しい能力かもしれないと推測するが、検証にはさらなる実験が必要だとしている。

10月6日

火曜日

  2. Pinterest、AIで美容ピンを実行可能なヘア・ネイル提案に変換

    Pinterestは、視覚インテリジェンスと生成AI技術「Pinterest Intelligence」を活用した「Beauty Guides」を発表した。ヘアやネイル関連のピンを、サロンで使える用語やプランに変換する。ユーザーはアプリ内の「Get the Guide」ボタンをタップすると、具体的なオーダー方法、所要時間、価格帯、カットやカラーのメンテナンス要件を確認できる。提供開始時はヘアスタイル、ヘアカラー、爪の形、ネイルデザインに関するピンに対応する。

  3. Mistral、1兆パラメータのマルチモーダルモデル「Mistral Large 4」を発表

    フランスのAI研究所Mistral AIは火曜日、1兆パラメータの大規模マルチモーダルモデル「Mistral Large 4（ML4）」を発表した。愛称はLe Chonk。現在は公開されたguardrailエンドポイント経由でのみアクセス可能で、重みは3週間後の安全テスト完了後に公開される予定。

  5. Reka AI、190億パラメータの全能モデルRho-1を公開　テキスト・画像・動画・ロボット制御を統合処理

    Reka AIがRho-1の研究プレビュー版を公開した。190億パラメータの全能モデルで、単一のニューラルネットワーク内でテキスト、画像、動画、ロボット制御動作を処理・生成する。タスクを専用モデルに振り分ける多くのシステムと異なり、Rho-1はすべてのモダリティをトークンとして同一の共有コンテキストウィンドウで実行し、ツール呼び出しや外部モデルを必要としない。リアルタイムで連続動画を生成し、再起動なしで新しい指示に応答する。

10月3日

土曜日

  1. AI エージェントが写真から 3D シーンを生成、ただし正誤の判断はできない

    研究チームは Image-to-Code 手法を提案し、コーディングエージェントが 1 枚の写真から実行可能な Blender プログラムを書き、シーンが元画像と一致するまで反復修正する。評価のためチームは LEGO-Bench を構築し、屋内・屋外 104 シーンの 208 枚の画像と 443 の登録アセットを含み、有効性・幾何精度・外観類似度の 3 点で採点する。

10月2日

金曜日

  1. Black Forest Labs、Flux 3 Imageを公開　多段階編集で他の部分を変えず

    Black Forest LabsはFlux 3モデルファミリーの画像部分にあたるFlux 3 Imageを公開した。公式によると、多段階の編集に対応しつつ画像の他の部分は変更せず、テキストからの画像生成、画像からの画像生成、文字レンダリング、写真のようなリアリズムをカバーする。ユーザーはバウンディングボックスで構図を指定でき、最大10枚の参照画像を導入可能で、出力は最大4K。現在は無料デモを提供しており、APIは10月8日まで半額。企業は商用ウェイトをライセンスして自社インフラ上で実行・微調整できる。オープンウェイト版は今後数週間で登場する見込み。

  2. ChatGPT にバーチャル試着と商品お気に入り機能が登場

    OpenAI は、ChatGPT のショッピング機能として、衣類やアクセサリーのバーチャル試着と、商品を保存できるお気に入り機能の 2 つを世界で提供開始すると発表した。バーチャル試着はショッピング結果内の Try On ボタンとして表示され、ユーザーは自撮り写真や全身写真をアップロードして着用イメージを確認できるほか、商品画像をアップロードして ChatGPT に試着させることもできる。OpenAI によると、新機能は新たに公開された ChatGPT Images 2.5 モデルに基づいており、このモデルは照明やテクスチャ、編集指示への追従性が改善され、画像生成の遅延も低減されている。

  3. Google、Gemini Live に Guided Vision のリアルタイム視覚描写機能を投入

    Google は Gemini Live に Guided Vision を導入し、本日から対応する Android 端末で提供を開始する。カメラを共有すると、AI がレンズに映る内容をリアルタイムで音声描写する。小さな文字の読み上げ、周囲の状況の説明、物体の探索や識別、物体の細部の説明などに使える。

10月1日

木曜日

  2. Google、Gemini 4 Argon を発表　これまでで最強のモデルと主張

    Google の親会社 Alphabet は Gemini 4 Argon を発表し、コーディングや調査、執筆などのタスクを処理できると説明した。特に防御的サイバーセキュリティ向けに訓練されており、重要なソフトウェア脆弱性を自律的に発見・検証・修正できるという。

  3. Google DeepMind、フロンティアモデル「Gemini 4 Argon」を発表

    Google DeepMindは新たなフロンティアモデル「Gemini 4 Argon」を発表した。まずFairwind Programの信頼できるサイバー防御担当者に開放し、その後開発者、企業、消費者向けに提供する。価格は入力100万トークンあたり2ドル、出力100万トークンあたり10ドルから。

9月29日

火曜日

  2. Microsoft Research、Quineを公開：生物学の複雑さを扱うAI研究システム

    Microsoft Researchは生物学の複雑さを扱うAI研究システムQuineを公開した。配列、構造、機能、細胞状態、画像などのマルチモーダルデータで学習した生物世界モデルと、モデル、科学ツール、文献、実験担当者をつなぐ対話型ハーネスから構成される。

  4. AMDがWorld Labsを82億ドルで買収、Atlasが疎な再構成の問題を解決

    AMDがWorld Labsを82億ドルで買収する。World Labsは2024年の設立以来、画像、動画、空間再構成のモデル学習チームを構築し、SceniX買収を通じてロボットシミュレーション能力を強化した。最近公開したAtlasは、2D画像から新しい視点を予測するomniモデル構造である。生成モデルと多視点幾何を組み合わせ、コンピュータービジョンで長年課題だった疎な再構成を解決し、ロボット、設計、工学、科学などに直接応用できる。

  6. AMD、約82億ドルの全額株式交換でWorld Labsを買収

    AMDは李飛飛が共同設立したAI研究所World Labsを約82億ドルの全額株式交換で買収すると発表した。年末までに完了する見込みだ。World Labsは2024年に設立され、数か月で評価額10億ドルに達した。2025年には初の商用製品Marbleを公開し、プロンプトから操作可能な3D世界を生成できる。

  7. Microsoft Research Asiaシンガポール研究所、設立1年で先端AI研究と人材育成を推進

    Microsoft初の東南アジア研究所であるMSRA – Singaporeは、設立以来1年間、次世代AIモデルとエージェントシステム、分野別AI、AIネイティブな研究実践、人材のエコシステムの4分野に注力した。シンガポールの医療関係者とマルチモーダル医療AIや自己進化する診断エージェントを研究し、EDBと2026年2月に物流・交通AIの幹部円卓会議を開催した。

9月26日

土曜日

9月25日

金曜日

9月24日

木曜日

  3. Meta Connect 2026：Muse エージェント、眼鏡ハードウェア、リアルタイム音声

    Meta は Connect 2026 で Muse を個人エージェントとして位置付け、その周辺のハードウェアと機能を更新した。音声とリアルタイム動画に対応し、バックグラウンドで作業を実行し、すべての Meta 眼鏡に導入される。各 Muse は独立したメールアドレスを持ち、Mac 版は computer use に対応し、コネクタープラットフォームには1,500超のアプリがある。

9月23日

水曜日

9月22日

火曜日

9月3日

木曜日

9月2日

水曜日

8月28日

金曜日

8月26日

水曜日

  1. Google、XRエージェントの会話に空間的ジェスチャーを加えるAgentHandsを公開

    GoogleはCHI 2026論文の研究試作AgentHandsを公開した。LLMの推論をXRヘッドセット内の音声と同期する手の動きに変え、3D空間で指示や物の操作を実演する。環境認識、ジェスチャー事象庫、埋め込み推論、ローカル同期実行の4モジュールで、指示、形の表現、感情表現に対応する。N=12の利用者研究では、音声だけより空間的な参照が有意に改善した。

8月17日

月曜日