Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先向 Fairwind Program 的可信网络防御方开放，后续将面向开发者、企业和消费者推出，起步价为每百万输入 token 2 美元、每百万输出 token 10 美元。
#多模态
#多模态
今日 1 条10月1日
9月29日
Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索
Condé Nast 与 AWS 生成式 AI 创新中心（GenAIIC）合作，基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案，并选用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本。
微软研究院发布 Quine：面向生物学复杂性的 AI 研究系统
微软研究院发布 Quine，一个面向生物学复杂性的 AI 研究系统，由跨序列、结构、功能、细胞状态和成像等多模态数据训练的生物世界模型，以及连接模型、科学工具、文献和实验人员的交互式 harness 组成。
微软亚洲研究院新加坡分院成立一年：推进前沿 AI 研究、合作与人才培养
微软亚洲研究院新加坡分院（MSRA – Singapore）作为微软在东南亚的首个研究实验室，成立一年来聚焦下一代 AI 模型与智能体系统、领域 AI、AI 原生研究实践及生态人才四大方向。实验室与新加坡医疗生态合作探索多模态医疗 AI 与自演化诊断智能体，并联合 EDB 于 2026 年 2 月举办物流与交通 AI 高管圆桌会。
9月26日
在 Amazon SageMaker HyperPod 上用 SkyRL 加速多模态 RL 训练
在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL，通过 GRPO 对 Qwen3-VL-8B 视觉语言模型进行多模态强化学习后训练，在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
9月25日
Google Research 发布长视频生成研究：AI 视频联合导演与四个智能体框架
Google Research 发布长视频生成研究，提出 AI 视频联合导演这一多智能体编排框架，构建在 Gemini 与 Veo 之上，用于规划多镜头叙事的视觉连续性。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在原生实时对话模型上加入近实时视频生成，形成能听、能看、能说的动态视觉形象，即日起在 Gemini Enterprise 上线。
9月24日
Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型，为 LFM2.5-VL-3B 加速推理
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark，通过投机解码在不改变输出质量的前提下提速，端侧解码最高 3.13x、H100 上最高 2.66x，端到端最高 2.62x 和 2.27x。
9月23日
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，前者面向角色设计与逐行表演指导，后者面向高并发配音与语音智能体。
NVIDIA 与合作伙伴在新加坡 AI Day 展示东南亚 AI 进展
NVIDIA 在新加坡 AI Day 上联合合作伙伴展示东南亚 AI 落地进展，新加坡 HTX 正基于 Nemotron 3 Super 与 Nemotron 3 Nano Omni 模型研究公共安全 AI。
9月3日
Google DeepMind 发布 WeatherNext 3 全球天气预报 AI 模型
Google DeepMind 与 Google Research 发布 WeatherNext 3，称其为目前最先进、最准确的全球天气模型，直接学习实时对地静止卫星数据，每小时生成一次预报，关键地表变量分辨率达 5 公里，整体比 WeatherNext 2 清晰约五倍。
Hugging Face 发布 NeoMME：260M/800M 多模态多语言编码器
Hugging Face 推出 NeoMME 系列多模态多语言编码器，含 260M 和 800M 两个规模，用单个双向 Transformer 同时处理文本 token 与 32×32 图像 patch，从零以掩码离散扩散目标训练，不依赖预训练视觉塔或因果语言模型。
9月2日
Google DeepMind 为 Gemini 3.7 Flash 等模型推出智能体视频理解功能
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能，视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。
8月28日
Google DeepMind 发布 Gemini Omni 1.1 Flash
Google DeepMind 发布 Gemini Omni 1.1 Flash，为开发者带来更可控的生成视频能力，通过 Gemini API 在 Google AI Studio 提供。
8月26日
Google 推出 AgentHands：为 XR 智能体对话生成空间化手势
Google 发布研究原型 AgentHands（论文发表于 CHI 2026），可将 LLM 的推理输出映射为 XR 头显中与语音同步的手势动画，让智能体在 3D 空间里指点、演示物体操作。系统包含环境感知、手势事件库、手势嵌入推理与本地同步执行四个模块，支持递指、象形和表达三类手势。在 N=12 的用户研究中，AgentHands 相比纯语音基线在空间指代效果上有显著提升。
8月17日
Google Research 提出 PhotoScan：用手机照片估算体成分并预测胰岛素抵抗
Google Research 提出 PhotoScan，一个可从普通 2D 手机照片估算体脂率、A/G 比值和 V/S 比值的深度学习框架，用于预测胰岛素抵抗。
8月13日
Hugging Face 为 OlmoEarth Studio 推出自定义嵌入向量导出功能
Hugging Face 的 OlmoEarth Studio 现已支持计算并导出嵌入向量，用户可通过 UI 或 API 选择区域、时段、编码器变体和分辨率，获得 Cloud-Optimized GeoTIFF（COG）格式结果。
MindTopo：微软研究院推出评估多模态大模型拓扑推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用，跨多步操作后常改变拓扑或违反任务约束。
8月12日
Google DeepMind 发布 SL2T 手语转文本模型，率先在 Pixel 11 的 Gboard 与 Live Transcribe 上线
Google DeepMind 发布多语言手语转文本模型 SL2T，首次把该能力带入消费产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语（ASL）转英文听写，后续将扩展更多设备与语言。
Google 研究团队推出 AMIE (Video)，实现专家级实时视频临床问诊
Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 构建，可实时进行视频临床问诊，感知非语言线索并引导虚拟体格检查。
微软研究院推出 CARE-X：面向临床可用的放射学 VLM，融合辅助监督、奖励对齐学习与工具增强测量
微软研究院发布研究模型 CARE-X，一个统一胸部 X 光视觉语言模型，可同时完成报告生成与结构化预测，并用强化学习（DAPO）在多任务设置下奖励临床正确性。CARE-X 支持生成与双推理两种模式，覆盖病灶有无与否定、定位、多标签分类、导管与管线异常位置检测及 29 个解剖区域定位等任务。
8月11日
NVIDIA 发布 Magpie TTS 多语言版：开放权重、支持 12 种语言
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持英语、西班牙语、法语、德语、意大利语、越南语、中文、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言。
8月10日
Meta 发布开源多模态模型 Muse Glimmer 30B，面向本地智能体场景
Meta 发布 Muse Glimmer，一个从 Muse 蒸馏到 30B 参数、采用 Apache 2.0 许可的多模态模型，主打本地智能体用例，如编码、文档分析和个人助手。
8月4日
Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器
Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务，推理时用自然语言写出策略即可返回校准后的安全分数，无需重新训练，统一处理文本与图像。官方称其在文本安全上可匹配最高 7 倍参数量的模型，并在多模态审核基准上取得新的最优结果。
7月30日
Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型
Google DeepMind 发布 Gemini Robotics ER 2，作为机器人的高层大脑，支持视频理解、多步任务编排与多机器人协作，并可将动作执行交给底层 VLA 模型。
7月28日
Google DeepMind 发布 Gemini Robotics 2，为机器人带来全身智能
Google DeepMind 发布 Gemini Robotics 2，作为新一代机器人智能层，首次实现对完整人形机器人的全身控制，并支持双手与夹爪的精细操作。
7月27日
NVIDIA Cosmos-H-Dreams：为手术机器人带来实时生成式仿真
NVIDIA 推出 Cosmos-H-Dreams，一个面向手术机器人的实时、动作条件生成式仿真器，通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 GPU 上运行，支持人与策略闭环交互控制。
7月23日
Google Research 发布 SymptomAI：面向日常症状评估的对话式 AI 智能体
Google Research 发布研究论文 SymptomAI，用五个不同提问策略的 Gemini Flash 2.0 智能体开展症状问诊与鉴别诊断，共纳入 13917 名受试者。
7月21日
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 与 3.5 Flash Cyber
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和面向网络安全的 3.5 Flash Cyber 三款新模型。
7月16日
DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语 OCR 基准上以 0.925 的得分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过两阶段训练实现领域专精：先以葡萄牙语语料监督微调，再用 DPO 提升推理稳定性。作者认为，尽管新架构不断涌现，专注单一语言的参数集中策略仍构成结构性优势。
7月15日
Thinking Machines 发布 Inkling 多模态开源模型及 Inkling-Small
Thinking Machines 在 Hugging Face 发布 Inkling，一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的多模态 MoE 模型，并同步推出 276B 总参数 12B 激活的 Inkling-Small。
7月8日
Mistral AI 发布 Robostral Navigate 具身导航模型
Mistral AI 发布首个具身导航模型 Robostral Navigate，这是一个 8B 模型，仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器，在 R2R-CE 验证集未见环境上取得 76.6% 成功率，比最佳单相机方案高 9.7 个百分点，比使用深度或多相机的最佳系统高 4.5 个百分点。
7月1日
Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线，用 Cerebras 加速 Gemma 4 31B 推理，串联 Nvidia Parakeet 语音识别与阿里 Qwen3TTS 语音合成。
Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）和 Gemini Omni Flash（gemini-omni-flash-preview）两款模型。
6月23日
Mistral 发布 OCR 4 文档解析模型
Mistral 发布 OCR 4，在提取文本之外返回边界框、块类型分类和逐页逐词置信度，支持 170 种语言并可单容器自托管部署。官方称独立标注者在 600 多份文档的盲评中平均 72% 更偏好 OCR 4，其在 OlmOCRBench 得 85.20、OmniDocBench 得 93.07，但官方提示这两个基准的评分方式存在已知局限。
6月17日
Google Earth AI 推出矢量化数据集，用深度学习绘制英国农田细尺度生态特征
Google Research 发布矢量化数据集，将 Farmscapes 2020 的高分辨率栅格地图转为可操作的树篱、石墙与矮林清单，覆盖英国超 13 万平方公里。该框架基于在 3 亿多张全球卫星影像上预训练的 RSF Vision-Transformer 骨干，仅用约 247 平方公里标注数据微调，并用 Polsby–Popper 紧凑度分数（线性特征阈值小于 0.5）区分林地、树丛与树篱。
6月13日
Google 研究 AI 如何帮助用户理解皮肤问题
Google 公布两项关于 AI 辅助皮肤问题理解的研究：一项针对 2,345 名参与者的调查显示，使用 AI 工具时参与者尝试命名皮肤状况的比例超 62%（对照组 41%），命名准确率 23%，接近对照组 8% 的三倍。另一项混合方法研究则考察人们如何用这类工具处理自身皮肤问题，以及由此获得的理解与医生沟通的差异。研究同时发现，AI 辅助对判断下一步就医措施帮助有限。
6月9日
Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，这是一款支持 70+ 语言的近实时语音到语音翻译音频模型，可自动检测语言并保留说话者的语调、节奏和音高。
Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本本地运行的多模态模型，介于边缘端 E4B 与 26B MoE 之间，采用无编码器统一架构，视觉和音频输入直接进入 LLM 主干。
6月5日
Google 研究用手机摄像头被动监测心脏健康
Google Research 在 Nature 发表研究，提出 PHRM 系统，利用手机前置摄像头在面部解锁后的几秒内拍摄视频，通过深度学习在后台估算心率和静息心率。