本文へ移動

#マルチモーダル

今日 0 件

11月13日

金曜日
  1. Microsoft Research Focus 第98号:AIによる汎用翻訳、31年来の数学難問、コーディングエージェントの効率化

    Microsoft Research Focus 第98号は複数の研究進展に焦点を当てている。AI音声翻訳が汎用翻訳の実現を後押しし、新研究が高次元幾何学の分野で31年間未解決だったKLS予想を解決した。その証明は計算機支援による形式検証を通過している。

11月6日

金曜日

11月5日

木曜日
  1. Google Research、Agile Deliberationを提案:AIが人間の主観的概念の境界整理を支援

    Google ResearchはAgile Deliberationフレームワークを提案した。主観的な視覚分類器の構築を概念の定義と概念の反復の2段階に分け、VLMが意味境界の曖昧な画像を能動的に選び出してユーザーに自らの定義を明確化させ、そのフィードバックを自動プロンプト最適化のループに取り込む。

11月1日

日曜日
  1. Adobe、AIエージェントがPhotoshopのプロのようにツールを選ぶ「EditAgent」を研究

    Adobe ResearchとUCサンディエゴは、画像編集リクエストをステップに分解し、各ステップで汎用エディターと専用ツールに並行して候補を生成させ、検証記録をもとに標準的な言語モデルが一度に比較して最良の結果を選ぶ「EditAgent」を提案した。

  2. Google、スタンフォード大・オックスフォード大と共同で動画エージェント「StreamVibe」を発表、AIが自ら話すべきタイミングを判断

    Googleはスタンフォード大やオックスフォード大などの機関と共同で、動画エージェント「StreamVibe」を発表した。ユーザーが明示した意図、口に出していない意図、タスク途中で変わった意図の3種類を見分け、いつ支援を提供すべきかを自律的に判断する。Qwen3.5-9Bを基に訓練したStreamVibe-VLは、応答のタイミングと品質で他のモデルより10.7%向上し、併設の記憶システムにより能動的なインタラクションがさらに12.3%向上した。

10月22日

木曜日

10月3日

土曜日
  1. AI エージェントが写真から 3D シーンを生成、ただし正誤の判断はできない

    研究チームは Image-to-Code 手法を提案し、コーディングエージェントが 1 枚の写真から実行可能な Blender プログラムを書き、シーンが元画像と一致するまで反復修正する。評価のためチームは LEGO-Bench を構築し、屋内・屋外 104 シーンの 208 枚の画像と 443 の登録アセットを含み、有効性・幾何精度・外観類似度の 3 点で採点する。

9月25日

金曜日

8月26日

水曜日
  1. Google、XRエージェントの会話に空間的ジェスチャーを加えるAgentHandsを公開

    GoogleはCHI 2026論文の研究試作AgentHandsを公開した。LLMの推論をXRヘッドセット内の音声と同期する手の動きに変え、3D空間で指示や物の操作を実演する。環境認識、ジェスチャー事象庫、埋め込み推論、ローカル同期実行の4モジュールで、指示、形の表現、感情表現に対応する。N=12の利用者研究では、音声だけより空間的な参照が有意に改善した。

8月17日

月曜日

8月13日

木曜日
  1. MindTopo、Microsoft Research がマルチモーダル大規模モデルの位相推論を評価

    Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。

8月12日

水曜日
  1. Microsoft Research、臨床向け放射線VLM CARE-Xを公開、補助監督・報酬学習・ツール測定を統合

    Microsoft Researchは胸部X線の統合視覚言語研究モデルCARE-Xを公開した。報告生成と構造化予測を同時に行い、複数タスクの強化学習(DAPO)で臨床的正しさに報酬を与える。生成と二重推論の2モードで、病変の有無と否定、位置、多ラベル分類、カテーテルやチューブの位置異常、29の解剖領域の特定などに対応する。

7月23日

木曜日

6月17日

水曜日
  1. Google Earth AI、英国農地の細かな生態特性を描くベクトルデータを公開

    Google ResearchはFarmscapes 2020の高解像度ラスターマップを、生け垣、石垣、低木林の扱いやすい一覧に変えたベクトルデータを公開した。英国の13万平方キロメートル超を対象とする。世界の衛星画像3億枚超で事前学習したRSF Vision-Transformerを約247平方キロメートルの注釈で微調整し、Polsby–Popperコンパクト性スコアで森林、木の集まり、生け垣を区別する。線状特性の閾値は0.5未満だ。

6月13日

土曜日
  1. Google、AI が皮膚の問題の理解を助ける方法を研究

    Google は二つの研究を公表した。2,345人の調査では、AI を使った参加者の62%超が皮膚の状態の名前を挙げようとし、対照群は41%だった。正解率は23%で、対照群の8%の約3倍。もう一つの混合手法研究は、自分の皮膚の問題にツールを使う方法、理解の変化、医師との対話の違いを調べた。一方、次の受診行動を判断する支援は限定的だった。

6月5日

金曜日

4月30日

木曜日
  1. Google DeepMind、医療研究計画AI co-clinicianを発表

    Google DeepMindは医師の臨床的監督の下でAIエージェントが診療を支援するAI co-clinician研究計画を発表した。実際のプライマリーケアの98質問の盲検評価では97件に重大な誤りがなく、医師は既存のエビデンス統合ツールよりその回答を好んだ。140項目の診察技能評価でAIは68項目でプライマリーケア医と同等以上だったが、危険信号の発見と重要な身体診察の指示では専門医が全体として優れていた。

4月9日

木曜日

3月18日

水曜日