跳到正文

#多模态

今日 1 条

10月7日

星期三
  1. Google 发布 EmbeddingGemma 2 多模态嵌入模型

    Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 7.4 亿。Google 称其在多模态嵌入基准上超过参数量两倍的竞品,在 Massive Text Embedding Benchmark (Code) 上得分 78.68,比前代 68.76 提升近 10 分。

  2. Simon Willison 测试 Claude Opus 5.5 作曲能力:生成可播放游戏音乐的 artifact

    Simon Willison 让 Claude Opus 5.5 设计一种简单的文本音乐格式,并构建一个能将其播放出来的 artifact,还要求示例曲目达到初代《猴岛小英雄》的水准。结果成品比他预想的更贴近猴岛主题,但质量出奇地好。他由此猜测,文本模型作曲可能类似此前的 3D 图形能力,是近几个月才涌现的新能力,但需要更多实验验证。

10月6日

星期二
  1. Pinterest 用 AI 把美妆 Pin 图变成可执行的美发美甲方案

    Pinterest 推出由视觉智能与生成式 AI 技术 Pinterest Intelligence 驱动的 Beauty Guides,可将美发美甲类 Pin 图转化为沙龙可用的术语和方案。用户点击应用内“Get the Guide”按钮即可查看具体该怎么说、耗时、价格区间及修剪补色等维护要求。该功能上线时支持发型、发色、甲形和甲面效果相关 Pin 图。

  2. Reka AI 发布 190 亿参数全能模型 Rho-1,统一处理文本、图像、视频与机器人控制

    Reka AI 发布 Rho-1 研究预览版,这是一个 190 亿参数的全能模型,可在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放在同一个共享上下文窗口中运行,无需工具调用或外部模型,并能实时生成连续视频、在不重启的情况下响应新指令。

10月3日

星期六

10月2日

星期五
  1. Black Forest Labs 发布 Flux 3 Image,支持多步编辑且不改动画面其余部分

    Black Forest Labs 发布 Flux 3 模型家族的图像部分 Flux 3 Image,官方称其支持多步编辑且不改变图像其他部分,覆盖文生图、图生图、文字渲染和照片级真实感。用户可用边界框构图、最多引入十张参考图,输出最高 4K;目前提供免费 demo,API 在 10 月 8 日前五折。企业可授权商用权重在自有基础设施上运行和微调,开放权重版本预计未来几周推出。

  2. ChatGPT 上线虚拟试穿与商品收藏功能

    OpenAI 宣布在全球范围上线两项 ChatGPT 购物功能,包括虚拟试穿服饰与配饰,以及可保存商品的收藏功能。虚拟试穿以购物结果中的 Try On 按钮呈现,用户可上传自拍或全身照查看上身效果,也可上传商品图片让 ChatGPT 试穿。OpenAI 称新功能基于新发布的 ChatGPT Images 2.5 模型,该模型在光照、纹理和编辑指令遵循上有所改进并降低了图像生成延迟。

10月1日

星期四

9月29日

星期二
  1. AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs。World Labs 自 2024 年成立以来构建了图像、视频和空间重建的模型训练团队,并通过收购 SceniX 推进机器人仿真能力。其近期发布的 Atlas 是一种 omni 模型架构,可从 2D 图像输入预测新视角,结合生成模型与多视图几何,解决了计算机视觉中长期存在的稀疏重建问题,在机器人、设计、工程和科学等领域有直接应用。

  2. 微软亚洲研究院新加坡分院成立一年:推进前沿 AI 研究、合作与人才培养

    微软亚洲研究院新加坡分院(MSRA – Singapore)作为微软在东南亚的首个研究实验室,成立一年来聚焦下一代 AI 模型与智能体系统、领域 AI、AI 原生研究实践及生态人才四大方向。实验室与新加坡医疗生态合作探索多模态医疗 AI 与自演化诊断智能体,并联合 EDB 于 2026 年 2 月举办物流与交通 AI 高管圆桌会。

9月26日

星期六

9月25日

星期五

9月24日

星期四

9月23日

星期三

9月22日

星期二

9月3日

星期四

9月2日

星期三

8月28日

星期五

8月26日

星期三
  1. Google 推出 AgentHands:为 XR 智能体对话生成空间化手势

    Google 发布研究原型 AgentHands(论文发表于 CHI 2026),可将 LLM 的推理输出映射为 XR 头显中与语音同步的手势动画,让智能体在 3D 空间里指点、演示物体操作。系统包含环境感知、手势事件库、手势嵌入推理与本地同步执行四个模块,支持递指、象形和表达三类手势。在 N=12 的用户研究中,AgentHands 相比纯语音基线在空间指代效果上有显著提升。

8月17日

星期一