在 SageMaker AI 上用 vLLM-Omni 构建实时语音应用（上）：部署 Qwen3-TTS 流式语音
AWS 发布 vLLM-Omni DLC，可在 SageMaker AI 上部署 Qwen3-TTS，通过一条持久双向连接实现文本流入、音频流出，语音在生成完成前即开始播放。
#语音
#语音
今日 0 条9月29日
9月26日
在 Amazon SageMaker AI 上部署 Qwen3-TTS 实时个性化语音
阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 已上线 Amazon SageMaker JumpStart，可部署到全托管实时推理端点，仅需几秒参考音频和对应文本即可克隆音色，无需重新训练。
9月25日
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在原生实时对话模型上加入近实时视频生成，形成能听、能看、能说的动态视觉形象，即日起在 Gemini Enterprise 上线。
在 SageMaker AI 上用 WhisperX 做说话人标注转录
AWS 发布 WhisperX Deep Learning Container，在 OpenAI Whisper 基础上加入批处理推理、wav2vec2 强制对齐的逐词时间戳和说话人分离，可部署到 Amazon SageMaker AI 实时或异步端点，无需自建镜像。
9月23日
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，前者面向角色设计与逐行表演指导，后者面向高并发配音与语音智能体。
Ringg 用 OpenAI 模型让 AI 智能体解决最多 65% 客服来电
Ringg 基于 GPT-5.6 打造的多语言 AI 智能体可解决最多 65% 的客户来电，覆盖语音、聊天、WhatsApp 和网页渠道。相比 GPT-4.1，其成本降低 90%。
9月16日
Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking
Google DeepMind 发布两款实时对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking，前者面向规模与成本效率，后者面向高复杂度任务与多步推理。
9月10日
OpenAI 在 API 中推出 GPT-Live-1 语音模型
OpenAI 在 API 中推出 GPT-Live-1，支持自然的全双工语音对话，并带来更强的指令遵循、自定义音色和电话（telephony）支持。
8月28日
Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集，印地语成为该多语言榜单上的首个印度语言。
8月27日
Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文本模型
Google DeepMind 发布 Gemini 3.5 Transcribe，称其为目前最精确的语音转文本模型，可直接把原始音频转成准确、经过格式化的文本。
8月21日
Hugging Face 研究：语音识别基准优化现象如何测量
Hugging Face 发布研究，提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
8月12日
Google 研究团队推出 AMIE (Video)，实现专家级实时视频临床问诊
Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 构建，可实时进行视频临床问诊，感知非语言线索并引导虚拟体格检查。
8月11日
NVIDIA 发布 Magpie TTS 多语言版：开放权重、支持 12 种语言
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持英语、西班牙语、法语、德语、意大利语、越南语、中文、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言。
7月30日
Google DeepMind 在 Flow Music 发布 Lyria 3.5 音乐生成模型
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5，并已在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升，包括更复杂自然的旋律结构、提示词遵循与结构感知更好的歌词、更具情感表现力和发音更准确的人声，以及对输出节奏和时长的更易控制。
7月15日
Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 语音评测基准，覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
7月1日
Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线，用 Cerebras 加速 Gemma 4 31B 推理，串联 Nvidia Parakeet 语音识别与阿里 Qwen3TTS 语音合成。
6月9日
Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，这是一款支持 70+ 语言的近实时语音到语音翻译音频模型，可自动检测语言并保留说话者的语调、节奏和音高。
4月30日
Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和指导关键体格检查上整体更优。
4月16日
Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 推出新一代文本转语音模型 Gemini 3.1 Flash TTS，主打更强的可控性、表现力与音质，即日起面向开发者通过 Gemini API 和 Google AI Studio 预览、企业通过 Vertex AI 预览、Workspace 用户通过 Google Vids 使用。
3月24日
Mistral AI 发布 Voxtral TTS 语音合成模型
Mistral AI 发布首款文本转语音模型 Voxtral TTS，参数规模 4B，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言，可通过 API 和 Mistral Studio 使用，定价为每 1k 字符 0.016 美元。
3月7日
Google Research 发布 WAXAL 非洲语言语音数据集，覆盖 27 种语言
Google Research 发布 WAXAL 大规模开放语音数据集，初期覆盖 27 种撒哈拉以南非洲语言、超过 1 亿使用者，以 CC-BY-4.0 许可开放。
2月5日
Mistral 发布 Voxtral Transcribe 2 语音转写模型家族
Mistral 发布 Voxtral Transcribe 2，包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文本模型。
7月17日
Mistral 为 Le Chat 上线 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 推出一批新功能，包括预览版 Deep Research 模式、由 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的图像编辑。
7月15日
Mistral AI 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源
Mistral AI 发布 Voxtral 语音理解模型，提供 24B 和 3B 两个版本，均以 Apache 2.0 许可开源并上线自家 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备内置问答与摘要、多语言自动检测和语音触发函数调用能力，文本能力继承 Mistral Small 3.1。