AssemblyAI 如何用 Amazon EC2 Spot 优化 AWS 上的语音转文字推理成本
AssemblyAI 在 AWS 上以 Amazon ECS 结合 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 Amazon SQS 队列重试机制吸收 Spot 中断,在维持 SLA 的同时显著降低成本。
AssemblyAI 在 AWS 上以 Amazon ECS 结合 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 Amazon SQS 队列重试机制吸收 Spot 中断,在维持 SLA 的同时显著降低成本。
Amazon SageMaker AI 双向流式推理新增按用量计费,模型提供商可向 AWS Marketplace 上报实时流中的实际用量。Deepgram 作为首发合作伙伴,将按用量计费的 STT 和 TTS 引入 AWS Marketplace。该能力通过一条独立的元数据 WebSocket 连接传输计量记录,SageMaker AI 端点基础设施费用仍照常收取。
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据。埃及口音数据为 1.34 小时、尼日利亚口音为 1.55 小时,均为对话式自发语音,转写含标点、大小写和不流畅词。榜单同时按 Kachru 三圈模型新增口音分组,区分美国与非美国、内圈与外圈及扩展圈口音。
Phonon 是可在本地设备离线运行的小型 TTS 模型,提供约 65MB 和 75MB 两个版本,支持英语、法语、德语、西班牙语和葡萄牙语,内置 100 多个音色。
AWS 合作伙伴 Cartesia 基于 State Space Model(SSM)架构打造实时语音 AI,其 Sonic 文本转语音与 Ink 语音转文字模型首字节延迟均低于 100ms,其中 Sonic 约 90ms 即可输出首个音频字节。
NVIDIA 员工用 Nemotron Voice Agent 搭建了万圣节互动投影 MonsterHouse,由 Nemotron ASR 负责听、Nemotron 3.5 Bolt E4B 4GB 负责对话、Magpie TTS Zeroshot 负责发声、Audio2Face-3D 驱动嘴部动画,全部跑在一台工作站上。
Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,让 Apple 平台开发者可自选引擎完成语音识别与决策任务。
IBM 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容、无需迁移,基础模型未重算,仅更新适配器。此次更新包括支持 10 种语言、原生标点与大小写的 Granite Speech ASR 模型,以及在 Jev Decision Index 测试集上表现提升的 granitelib-core Decision 适配器。
NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,把多语言转写、说话人分离、翻译和音频问答合入同一 checkpoint,已在 Hugging Face 和 ModelScope 上线。
NVIDIA 为 RTX Spark 轻薄笔记本带来一批更新,包括开放权重的语音模型 Nemotron 3.5 Transcribe、Liquid AI 的 LFM3 系列模型支持,以及 NVIDIA App 中可在前台应用与后台 Agent 之间分配 GPU 资源的控制项。
Retell 借助 OpenAI 模型支撑每月 1 亿次通话,GPT-6 Astra 在其语音智能体基准测试中排名第一。Codex 还帮助 Retell 实现每位员工 160 万美元的年化营收。
Anima 利用 GPT-6 和 GPT-Live 将诊所电话等待时间缩短 75%,并扩展了护理团队使用 OpenAI 模型的能力。该方案让护理团队有更多余力响应患者。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上部署了 8200 万参数的 Kokoro-82M,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型,把 AI 智能体生成的每个句子即时送入合成,让音频在完整回复生成前就开始播放。
Amazon Polly Generative 引擎完成升级,语音更自然准确且延迟更低,新增 14 个声音、覆盖 9 个 locale,并首次正式提供印地语和芬兰语生成式声音。
IBM 更新 Granite Speech 系列,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
Mistral 发布 Voxtral 3 语音模型家族,包含支持 50+ 语言的转写模型 Voxtral Small Transcribe 3、4B 参数的 Voxtral Mini Transcribe 3。
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于联络中心分析、医疗转录等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案多 11%–70%。
IBM 发布 Granite Switch 4.1,包含 Granite-Switch-4.1-8B 和 -30B,把通用决策 aLoRA、安全决策 Guardian aLoRA 以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进一个模型,占用显存与基座模型单独运行时大致相当。
Higgsfield 借助 GPT-6 Astra 把 AI 视频生成时长从 1 分钟延长到 10 分钟以上,并用 GPT-Image-2.5 提升画面精度,同时通过 GPT-Live 打通语音电影制作路径。
阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一个 1.6B 参数的语音识别模型,主打阿拉伯语并聚焦阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可在航空公司应用中搭建语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。榜单以 Qwen3 ASR 计算 WER/CER,在 H200 GPU 上测 RTFx 与 TTFA,并用 WavLM 嵌入算说话人相似度 SIM,支持多语言与声音克隆对比。
AWS 发布 vLLM-Omni DLC,可在 SageMaker AI 上部署 Qwen3-TTS,通过一条持久双向连接实现文本流入、音频流出,语音在生成完成前即开始播放。
阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 已上线 Amazon SageMaker JumpStart,可部署到全托管实时推理端点,仅需几秒参考音频和对应文本即可克隆音色,无需重新训练。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,形成能听、能看、能说的动态视觉形象,即日起在 Gemini Enterprise 上线。
AWS 发布 WhisperX Deep Learning Container,在 OpenAI Whisper 基础上加入批处理推理、wav2vec2 强制对齐的逐词时间戳和说话人分离,可部署到 Amazon SageMaker AI 实时或异步端点,无需自建镜像。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐行表演指导,后者面向高并发配音与语音智能体。
Ringg 基于 GPT-5.6 打造的多语言 AI 智能体可解决最多 65% 的客户来电,覆盖语音、聊天、WhatsApp 和网页渠道。相比 GPT-4.1,其成本降低 90%。
Google DeepMind 发布两款实时对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,前者面向规模与成本效率,后者面向高复杂度任务与多步推理。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话,并带来更强的指令遵循、自定义音色和电话(telephony)支持。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集,印地语成为该多语言榜单上的首个印度语言。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文本模型,可直接把原始音频转成准确、经过格式化的文本。
Hugging Face 发布研究,提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 构建,可实时进行视频临床问诊,感知非语言线索并引导虚拟体格检查。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持英语、西班牙语、法语、德语、意大利语、越南语、中文、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并已在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升,包括更复杂自然的旋律结构、提示词遵循与结构感知更好的歌词、更具情感表现力和发音更准确的人声,以及对输出节奏和时长的更易控制。
Hume 发布 Real World VoiceEQ 语音评测基准,覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 推理,串联 Nvidia Parakeet 语音识别与阿里 Qwen3TTS 语音合成。
Google DeepMind 发布 Gemini 3.5 Live Translate,这是一款支持 70+ 语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话者的语调、节奏和音高。