跳到正文
assaynotes
EN日本語中文

#多模态

今日 0 条

9月25日

星期五

8月26日

星期三

  1. Google 推出 AgentHands：为 XR 智能体对话生成空间化手势

    Google 发布研究原型 AgentHands（论文发表于 CHI 2026），可将 LLM 的推理输出映射为 XR 头显中与语音同步的手势动画，让智能体在 3D 空间里指点、演示物体操作。系统包含环境感知、手势事件库、手势嵌入推理与本地同步执行四个模块，支持递指、象形和表达三类手势。在 N=12 的用户研究中，AgentHands 相比纯语音基线在空间指代效果上有显著提升。

8月17日

星期一

8月13日

星期四

  1. MindTopo：微软研究院推出评估多模态大模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准，用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用，跨多步操作后常改变拓扑或违反任务约束。

8月12日

星期三

  2. 微软研究院推出 CARE-X：面向临床可用的放射学 VLM，融合辅助监督、奖励对齐学习与工具增强测量

    微软研究院发布研究模型 CARE-X，一个统一胸部 X 光视觉语言模型，可同时完成报告生成与结构化预测，并用强化学习（DAPO）在多任务设置下奖励临床正确性。CARE-X 支持生成与双推理两种模式，覆盖病灶有无与否定、定位、多标签分类、导管与管线异常位置检测及 29 个解剖区域定位等任务。

7月23日

星期四

6月17日

星期三

  1. Google Earth AI 推出矢量化数据集，用深度学习绘制英国农田细尺度生态特征

    Google Research 发布矢量化数据集，将 Farmscapes 2020 的高分辨率栅格地图转为可操作的树篱、石墙与矮林清单，覆盖英国超 13 万平方公里。该框架基于在 3 亿多张全球卫星影像上预训练的 RSF Vision-Transformer 骨干，仅用约 247 平方公里标注数据微调，并用 Polsby–Popper 紧凑度分数（线性特征阈值小于 0.5）区分林地、树丛与树篱。

6月13日

星期六

  1. Google 研究 AI 如何帮助用户理解皮肤问题

    Google 公布两项关于 AI 辅助皮肤问题理解的研究：一项针对 2,345 名参与者的调查显示，使用 AI 工具时参与者尝试命名皮肤状况的比例超 62%（对照组 41%），命名准确率 23%，接近对照组 8% 的三倍。另一项混合方法研究则考察人们如何用这类工具处理自身皮肤问题，以及由此获得的理解与医生沟通的差异。研究同时发现，AI 辅助对判断下一步就医措施帮助有限。

6月5日

星期五

4月30日

星期四

  1. Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和指导关键体格检查上整体更优。

4月9日

星期四

3月18日

星期三