AssemblyAI 如何用 Amazon EC2 Spot 优化 AWS 上的语音转文字推理成本
AssemblyAI 在 AWS 上以 Amazon ECS 结合 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 Amazon SQS 队列重试机制吸收 Spot 中断,在维持 SLA 的同时显著降低成本。
AssemblyAI 在 AWS 上以 Amazon ECS 结合 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 Amazon SQS 队列重试机制吸收 Spot 中断,在维持 SLA 的同时显著降低成本。
Meta 的 AI 智能体 Muse 现在可以代表用户拨打美国商家电话,该功能 9 月测试后向美国所有付费 Muse 订阅用户开放。Meta AI 负责人 Alexandr Wang 称 Muse 用户已超过 1000 万,可代打有线电视公司、DMV 和餐厅等繁琐电话,并将很快获得一个免费邮箱地址。
ElevenLabs 本周发布实验性应用 ElevenAI,把会议记录、听写和智能体集成合为一体,目前处于预览阶段,需申请早期访问。该应用支持跨会议查询数据、在对话中提供实时协助,并可通过 ElevenAgent 执行写邮件草稿等后续动作;听写功能支持 90 多种语言,并能识别行业术语。
Meta 的消费级 AI 智能体 Muse 现在可以代用户拨打美国商家的电话,该功能仅对付费订阅用户开放。此前只有部分早期用户申请后才能试用,如今所有付费用户都能发起这类请求;Muse 订阅起价每月 20 美元、每周 500 million Muse tokens,每月 100 美元档为 3 billion tokens。
ElevenLabs 发布两款语音转文字模型 Scribe v3 和 Scribe v3 Live,前者面向预录音频,后者面向低延迟实时应用,均已通过 ElevenAPI 和 ElevenAgents 平台开放。
The Verge 高级智能家居评测员 Jen Tuohy 用一周时间测试了 Apple 首款智能显示屏 HomeView(售价 $299),涵盖桌面版与壁挂版,并体验了其新的 Siri AI 能力。她把设备放在厨房台面、床头、办公室和玄关等处,用它做饭、控制智能家居和接听电话。订阅用户可在评论区提问,她将于美国东部时间今天下午 2 点开始作答。
Amazon SageMaker AI 双向流式推理新增按用量计费,模型提供商可向 AWS Marketplace 上报实时流中的实际用量。Deepgram 作为首发合作伙伴,将按用量计费的 STT 和 TTS 引入 AWS Marketplace。该能力通过一条独立的元数据 WebSocket 连接传输计量记录,SageMaker AI 端点基础设施费用仍照常收取。
DeepL 为 DeepL Voice 推出新模型 Aure,能把原说话人的语气、情绪、重音和语速带入目标语言,不再依赖对话开始时采集的固定语音样本。Aure 会在对话过程中持续分析译文和原始音频,训练时把音色、语调与内容分离后分别迁移,并用强化学习抑制口音。
Adobe 在年度 Max 大会上公布多项实验性 AI 工具,包括 Project Screen Test 可通过对话塑造 AI 角色并生成试镜视频,Project Sight Span 能把平面图像转为可自由移动视角的 3D 场景。
OpenAI 在 AI Engineer Code Summit 的 workshop 上介绍了 Codex 的新工作方式,包括 Codex Cloud v2、语音模式和个人智能体 dots。
Spotify 为 AI DJ 新增可选语音与个性,Premium 用户可在英语和西班牙语的多种口音语音间切换,并能关闭歌曲之间的解说。英语提供 7 种语音,涵盖英国、美国、爱尔兰、澳大利亚和印度口音;西班牙语新增 Nico 和 Fabi 两种语音,取代此前的 Livi,原语音 "X" 保留。
Otter.ai 宣布扩展多语言能力,新增可在同一场会议中跟随说话人语言切换的多语言转录功能,并新增 27 种语言支持,完成后共支持 31 种语言。其中 13 种语言已上线,包括中文、韩语、德语、意大利语、粤语等,其余 14 种即将推出。新语言基于 Otter 自研语音模型,使用公开数据集训练并由母语志愿者校对转写准确率。
Underdog 发布基于其新语音模型 Woof 的浏览器游戏演示,该模型仅 32MB、3100 万参数,公司称可在多数设备上无网络运行,并开放下载。演示中用户可在打字机上输入任意文字让模型朗读,也能旋转调音器生成不同音乐。此前数周 Underdog 还推出了 167MB 的端侧语音转文字模型 Bark,创始人 Sigil Wen 表示希望在数月内把当下多数能力较强的模型跑在用户已有设备上。
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据。埃及口音数据为 1.34 小时、尼日利亚口音为 1.55 小时,均为对话式自发语音,转写含标点、大小写和不流畅词。榜单同时按 Kachru 三圈模型新增口音分组,区分美国与非美国、内圈与外圈及扩展圈口音。
Meta 宣布 Muse Voice 功能已向美国所有用户开放,用户可与消费级 AI 智能体 Muse 进行语音通话和视频聊天。
Meta CEO Mark Zuckerberg 宣布,Muse AI 智能体现在支持实时语音对话,头像会随说话内容同步动画。该功能已在美国的 iOS 应用上线,Meta 称将很快登陆其 AI 眼镜,并会支持今年计划发货的 Muse Charm 设备。The Verge 记者实测发现语音响应较快,但在查询信息时会偶尔停顿,用户可通过对话或头像设置调整语音语气。
SoundCloud 与 ElevenLabs 达成合作,用户可将 ElevenLabs 生成的音乐直接发布到 SoundCloud,无需先导出下载再上传。SoundCloud Artist Pro 订阅者还可免费获得三个月 ElevenMusic Pro。从 ElevenLabs 直接发布到 SoundCloud 的歌曲会被标注 AI 来源。
Phonon 是可在本地设备离线运行的小型 TTS 模型,提供约 65MB 和 75MB 两个版本,支持英语、法语、德语、西班牙语和葡萄牙语,内置 100 多个音色。
Verge 高级评测 Victoria Song 在心理治疗和体检时佩戴始终录音的 AI 可穿戴设备 Amazon Bee Frontier,其转录与摘要多次出错,包括虚构她与同事配偶争吵、凭空多出六只猫。
Apple 在 iOS 27.3 和 watchOS 27.3 首个开发者测试版中推出 Audio Intelligence 功能,Apple Watch Series 12 用户可检测重要声音、识别歌曲、回看过去 15 秒对话(Live Rewind)并生成全天对话摘要(Siri Recaps)。
AWS 合作伙伴 Cartesia 基于 State Space Model(SSM)架构打造实时语音 AI,其 Sonic 文本转语音与 Ink 语音转文字模型首字节延迟均低于 100ms,其中 Sonic 约 90ms 即可输出首个音频字节。
Apple 在 watchOS 27.3 开发者测试版中推出 Audio Intelligence,让 Siri 接入 Apple Watch 麦克风。新增的 Siri Recap 通过环境聆听生成对话摘要,Live Rewind 可生成过去 15 秒音频的文字记录,双击数码表冠即可查看。
NVIDIA 员工用 Nemotron Voice Agent 搭建了万圣节互动投影 MonsterHouse,由 Nemotron ASR 负责听、Nemotron 3.5 Bolt E4B 4GB 负责对话、Magpie TTS Zeroshot 负责发声、Audio2Face-3D 驱动嘴部动画,全部跑在一台工作站上。
Rivian 将其 AI 语音助手技术的部分元素授权给大众集团,纳入双方 58 亿美元的合资公司。该助手已于 2026 年 5 月上线 R1S、R1T,10 月上线 R2,大众首款采用该软件与电子架构的车型预计是低成本电动车 ID EVERY1。Rivian 未披露授权费用与具体车型范围。
以会议记录工具起家的 Granola 上线听写功能,用户在 Mac 上按 Fn 键即可语音输入,工具会自动整理并格式化文本,可在所有应用中粘贴笔记、提示词或邮件回复,且不限字数、免费使用。该功能将陆续登陆 iOS 和 Windows。此前 Wispr 已从听写工具扩展至会议记录,Fireflies、Speechify、Monologue 等语音应用也在走向多功能融合。
Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,让 Apple 平台开发者可自选引擎完成语音识别与决策任务。
IBM 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容、无需迁移,基础模型未重算,仅更新适配器。此次更新包括支持 10 种语言、原生标点与大小写的 Granite Speech ASR 模型,以及在 Jev Decision Index 测试集上表现提升的 granitelib-core Decision 适配器。
Deepgram 宣布收购开源语音 AI 框架 Pipecat 的开发商 Daily,交易金额未披露,双方承诺 Pipecat 将永久保持开源和厂商中立。Daily 此前累计融资超过 6200 万美元,两家公司同属 2016 年 Y Combinator 同一批次;Deepgram 今年早些时候完成 1.3 亿美元 C 轮融资,估值进入独角兽行列。
Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,可用文本指令控制,支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人识别,单段录音最长 1 小时、最多 8 位说话人。
NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,把多语言转写、说话人分离、翻译和音频问答合入同一 checkpoint,已在 Hugging Face 和 ModelScope 上线。
NVIDIA 为 RTX Spark 轻薄笔记本带来一批更新,包括开放权重的语音模型 Nemotron 3.5 Transcribe、Liquid AI 的 LFM3 系列模型支持,以及 NVIDIA App 中可在前台应用与后台 Agent 之间分配 GPU 资源的控制项。
NVIDIA 发布免费开源权重模型 Nemotron 3.5 Transcribe,可转写最多 40 种语言的音频,并支持 31 种语言与英语互译。该模型可处理最长一小时的录音、区分最多 8 位说话人,NVIDIA 称其在 Hugging Face Open ASR Leaderboard 等基准上优于竞品。
Retell 借助 OpenAI 模型支撑每月 1 亿次通话,GPT-6 Astra 在其语音智能体基准测试中排名第一。Codex 还帮助 Retell 实现每位员工 160 万美元的年化营收。
Apple 发布 iOS 与 macOS 27.2,加入新的 Siri AI 功能,并更新了 Music 图标。此次更新还包含限制 Siri 可直接访问哪些应用的能力。
Block 研究实验室发布语音模型 Dessa,可本地运行,并带有笑声、停顿和哭腔等类人表达。该模型为全双工语音到语音模型,可同时说话与聆听,官方称完全基于人类语音训练,能在 MacBook M4 Max 或更高配置的消费级电脑上运行。目前 Dessa 未公开开放,Block 正征集安全研究人员进行测试。
Block 发布语音模型 Dessa,称其是首个完全用人类语音、不含任何文本数据从零训练的 AI 模型,直接以音频处理语音,可实时捕捉情绪、讽刺、笑声和停顿,并支持全双工同时听说。该模型可在 MacBook Pro M4 Max 上本地运行,训练使用单台 NVIDIA GB200 NVL72。Dessa 尚未公开,团队正招募 AI 安全研究人员测试意外风险,感兴趣者可通过表单报名。
Jack Dorsey 的 Block 发布 AI 模型 Dessa,称其完全基于人类对话从零训练,是真正的语音到语音模型,可在 MacBook Pro M4 Max 或更高配置上本地运行。
Anima 利用 GPT-6 和 GPT-Live 将诊所电话等待时间缩短 75%,并扩展了护理团队使用 OpenAI 模型的能力。该方案让护理团队有更多余力响应患者。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上部署了 8200 万参数的 Kokoro-82M,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型,把 AI 智能体生成的每个句子即时送入合成,让音频在完整回复生成前就开始播放。