跳到正文

#多模态

今日 2 条

10月1日

星期四今天2 条

9月29日

星期二
  1. AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs。World Labs 自 2024 年成立以来构建了图像、视频和空间重建的模型训练团队,并通过收购 SceniX 推进机器人仿真能力。其近期发布的 Atlas 是一种 omni 模型架构,可从 2D 图像输入预测新视角,结合生成模型与多视图几何,解决了计算机视觉中长期存在的稀疏重建问题,在机器人、设计、工程和科学等领域有直接应用。

  2. 微软亚洲研究院新加坡分院成立一年:推进前沿 AI 研究、合作与人才培养

    微软亚洲研究院新加坡分院(MSRA – Singapore)作为微软在东南亚的首个研究实验室,成立一年来聚焦下一代 AI 模型与智能体系统、领域 AI、AI 原生研究实践及生态人才四大方向。实验室与新加坡医疗生态合作探索多模态医疗 AI 与自演化诊断智能体,并联合 EDB 于 2026 年 2 月举办物流与交通 AI 高管圆桌会。

9月26日

星期六

9月25日

星期五

9月24日

星期四

9月23日

星期三

9月22日

星期二

9月3日

星期四

9月2日

星期三

8月28日

星期五

8月26日

星期三
  1. Google 推出 AgentHands:为 XR 智能体对话生成空间化手势

    Google 发布研究原型 AgentHands(论文发表于 CHI 2026),可将 LLM 的推理输出映射为 XR 头显中与语音同步的手势动画,让智能体在 3D 空间里指点、演示物体操作。系统包含环境感知、手势事件库、手势嵌入推理与本地同步执行四个模块,支持递指、象形和表达三类手势。在 N=12 的用户研究中,AgentHands 相比纯语音基线在空间指代效果上有显著提升。

8月17日

星期一

8月13日

星期四
  1. MindTopo:微软研究院推出评估多模态大模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用,跨多步操作后常改变拓扑或违反任务约束。

8月12日

星期三
  1. 微软研究院推出 CARE-X:面向临床可用的放射学 VLM,融合辅助监督、奖励对齐学习与工具增强测量

    微软研究院发布研究模型 CARE-X,一个统一胸部 X 光视觉语言模型,可同时完成报告生成与结构化预测,并用强化学习(DAPO)在多任务设置下奖励临床正确性。CARE-X 支持生成与双推理两种模式,覆盖病灶有无与否定、定位、多标签分类、导管与管线异常位置检测及 29 个解剖区域定位等任务。

8月11日

星期二

8月10日

星期一

8月4日

星期二
  1. Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写出策略即可返回校准后的安全分数,无需重新训练,统一处理文本与图像。官方称其在文本安全上可匹配最高 7 倍参数量的模型,并在多模态审核基准上取得新的最优结果。

7月30日

星期四

7月28日

星期二

7月27日

星期一

7月23日

星期四

7月21日

星期二

7月16日

星期四
  1. DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR

    DharmaOCR 在葡萄牙语 OCR 基准上以 0.925 的得分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过两阶段训练实现领域专精:先以葡萄牙语语料监督微调,再用 DPO 提升推理稳定性。作者认为,尽管新架构不断涌现,专注单一语言的参数集中策略仍构成结构性优势。

7月15日

星期三