Phonon TTS 端侧语音模型发布复盘：65MB 起、支持五语种并登顶榜单
Phonon 是可在本地设备离线运行的小型 TTS 模型，提供约 65MB 和 75MB 两个版本，支持英语、法语、德语、西班牙语和葡萄牙语，内置 100 多个音色。
语音与音频
全部主题AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
最新精选
第 1–20 条 · 共 25 条11月5日
10月28日
NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线
NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe，把多语言转写、说话人分离、翻译和音频问答合入同一 checkpoint，已在 Hugging Face 和 ModelScope 上线。
10月21日
Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK
Mistral 发布 Voxtral 3 语音模型家族，包含支持 50+ 语言的转写模型 Voxtral Small Transcribe 3、4B 参数的 Voxtral Mini Transcribe 3。
10月16日
IBM 发布 Granite Switch 4.1：一个端点同时支持对话、决策与语音
IBM 发布 Granite Switch 4.1，包含 Granite-Switch-4.1-8B 和 -30B，把通用决策 aLoRA、安全决策 Guardian aLoRA 以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个模型，占用显存与基座模型单独运行时大致相当。
9月25日
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在原生实时对话模型上加入近实时视频生成，形成能听、能看、能说的动态视觉形象，即日起在 Gemini Enterprise 上线。
9月24日
Meta Connect 2026：Muse 智能体、眼镜硬件与实时语音
Meta 在 Connect 2026 上把 Muse 定位为个人智能体，并围绕它发布硬件与功能更新：Muse 支持语音与实时视频，可后台执行任务，将登陆所有 Meta 眼镜；每台 Muse 拥有独立邮箱地址，Mac 版支持 computer use，连接器平台已有 1500+ 应用。
9月23日
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，前者面向角色设计与逐行表演指导，后者面向高并发配音与语音智能体。
9月16日
Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking
Google DeepMind 发布两款实时对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking，前者面向规模与成本效率，后者面向高复杂度任务与多步推理。
9月10日
OpenAI 在 API 中推出 GPT-Live-1 语音模型
OpenAI 在 API 中推出 GPT-Live-1，支持自然的全双工语音对话，并带来更强的指令遵循、自定义音色和电话（telephony）支持。
8月28日
Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集，印地语成为该多语言榜单上的首个印度语言。
8月27日
Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文本模型
Google DeepMind 发布 Gemini 3.5 Transcribe，称其为目前最精确的语音转文本模型，可直接把原始音频转成准确、经过格式化的文本。
8月21日
Hugging Face 研究：语音识别基准优化现象如何测量
Hugging Face 发布研究，提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
8月12日
Google 研究团队推出 AMIE (Video)，实现专家级实时视频临床问诊
Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 构建，可实时进行视频临床问诊，感知非语言线索并引导虚拟体格检查。
8月11日
NVIDIA 发布 Magpie TTS 多语言版：开放权重、支持 12 种语言
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持英语、西班牙语、法语、德语、意大利语、越南语、中文、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言。
7月30日
Google DeepMind 在 Flow Music 发布 Lyria 3.5 音乐生成模型
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5，并已在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升，包括更复杂自然的旋律结构、提示词遵循与结构感知更好的歌词、更具情感表现力和发音更准确的人声，以及对输出节奏和时长的更易控制。
7月15日
Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 语音评测基准，覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
7月1日
Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线，用 Cerebras 加速 Gemma 4 31B 推理，串联 Nvidia Parakeet 语音识别与阿里 Qwen3TTS 语音合成。
6月9日
Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，这是一款支持 70+ 语言的近实时语音到语音翻译音频模型，可自动检测语言并保留说话者的语调、节奏和音高。
4月30日
Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和指导关键体格检查上整体更优。
4月16日
Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 推出新一代文本转语音模型 Gemini 3.1 Flash TTS，主打更强的可控性、表现力与音质，即日起面向开发者通过 Gemini API 和 Google AI Studio 预览、企业通过 Vertex AI 预览、Workspace 用户通过 Google Vids 使用。