Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在 decode 阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家输出维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
针对 MoE 模型在 decode 阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家输出维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,分别覆盖医疗智能体、原子级材料工程、通用机器人和企业规划平台。NVIDIA 在欧洲的技术生态投资总额已接近 100 亿美元,此前曾投资 Alice&Bob、Gradium 和 Scintil Photonics。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型拆分到两个 GPU 节点,以 prefill/decode 分离方式共用一个 OpenAI 兼容端点。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
NVIDIA 在 OCP Global Summit 上通过开放的 MGX 架构向 OCP 贡献了 Vera Rubin 机架和计算托盘设计,为系统厂商提供构建下一代 AI 工厂基础设施的共同基础。
作者借助 HuggingChat 中的 ML-intern,用自然语言提示词在两天内训练并发布了六个模型,包括柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA、Pocket Rewriter 0.8B/2B 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
NVIDIA 开发者借助 GPT-6 Astra、Claude 等前沿模型驱动 AI 智能体,结合 Omniverse 库的 GPU 加速物理、渲染与传感器仿真能力,通过自然语言指令完成场景搭建与验证。
阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一个 1.6B 参数的语音识别模型,主打阿拉伯语并聚焦阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量智能体强化学习框架,围绕 Harnessed Agentic RL 范式重建,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和 d1-omni-600M(实验性)。d1-3B 在 Decision Index 0.2.1 上得分 48.57,为 10B 以下最佳,支持文本与图像;d1-omni-600M 支持文本加图像或文本加音频。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和反馈驱动的推理流程,让模型在 IOI 2026 和 IMO 2026 都达到金牌水平。IOI 2026 中 Nemotron-3-Ultra-CC 得 535.4/600,高于 361.12 的金牌线和人类最高分 498.27;IMO 2026 系统得 30/42,高于 29 的官方金牌线,其中六题有四题满分。
OpenAI 发布内部前沿模型在数学开放问题上取得的新结果,并公开了 Lean 证明形式化及相关研究细节。相关材料已发布在 GitHub 上。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的开源多模态嵌入模型,可把文本、图像、音频和视频映射到统一嵌入空间。
NVIDIA《State of AI in Telecommunications》报告显示,89% 受访者认为开源模型和软件对公司 AI 战略重要。NVIDIA 发布 300 亿参数的 Nemotron 3 Large Telco Model(LTM),由 AdaptKey 基于开源电信数据集微调,并开放完整微调流程。
Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、49B 激活参数的原生多模态模型,可在 Mistral Studio 试用预览 API,权重将于本月底发布。
Falcon-Emirati-7B 发布,这是一个在 Falcon-H1-Arabic 基础上构建的 7B 方言专用模型,专注理解与生成阿联酋阿拉伯语。它沿用 Falcon-H1 混合架构(Mamba 与 Transformer 注意力并行),并基于真实方言网页数据、MSA 文化语料与受术语表约束的合成数据训练。
NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备本地运行。
NVIDIA NeMo Agent Toolkit(NAT)可通过自定义 memory provider 接入 Amazon S3 Vectors,作为多智能体系统的持久记忆层,并部署在 Amazon EKS 上。
AI2 发布 Olmo-core 3,这是其大语言模型开发框架的一次重大升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
Google DeepMind 发布 SynthID Bio,把水印技术引入合成生物学,在生物代码中嵌入不可感知的签名,使水印在数字模型和合成出的实体蛋白质上都能被验证,同时保持其生物功能。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。榜单以 Qwen3 ASR 计算 WER/CER,在 H200 GPU 上测 RTFx 与 TTFA,并用 WavLM 嵌入算说话人相似度 SIM,支持多语言与声音克隆对比。
NVIDIA 发布开源表格基础模型 Kumo Tabular,给定带标签的表格行即可单次前向传播预测新行标签,无需训练、调参和特征工程,覆盖分类与回归。模型提供 28M 到 215M 三种规模,仅用人工合成表格预训练,采用 OpenMDW-1.1 许可可商用,在 TabArena、BeyondArena、TALENT 和 ScoringBench 四个基准上排名第一。
AWS 发布 vLLM-Omni DLC,可在 SageMaker AI 上部署 Qwen3-TTS,通过一条持久双向连接实现文本流入、音频流出,语音在生成完成前即开始播放。
Mistral 在慕尼黑开设新中心,组建专注 Physics AI 与工业 AI 的研究团队,并计划到 2030 年建成 1 吉瓦欧洲算力。该中心将与 BMW 合作碰撞仿真与工程 AI、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)合作利用风洞设施开发汽车空气动力学数字孪生。
H 公司发布 Holo4 系列智能体模型,包含 27B dense 和 35B-A3B MoE 两个尺寸,均已上线 H Models API,权重以 BF16、FP8、NVFP4 和 4-bit GGUF 格式开源在 Hugging Face。
Hugging Face Hub 新增 RL Environments 筛选,带 rl-environment 标签的数据集仓库会出现在 huggingface.co/datasets?
AWS 给出在 Amazon EKS 上结合 EFA 与 DeepEP 扩展 MoE 强化学习训练的架构方案,吞吐量提升 40%。
阿里云 Qwen 团队开源的 Qwen3-TTS-12Hz-1.7B-Base 已上线 Amazon SageMaker JumpStart,可部署到全托管实时推理端点,仅需几秒参考音频和对应文本即可克隆音色,无需重新训练。
GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就能识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做分类并生成漏洞报告。
AWS 发布 WhisperX Deep Learning Container,在 OpenAI Whisper 基础上加入批处理推理、wav2vec2 强制对齐的逐词时间戳和说话人分离,可部署到 Amazon SageMaker AI 实时或异步端点,无需自建镜像。
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,通过投机解码在不改变输出质量的前提下提速,端侧解码最高 3.13x、H100 上最高 2.66x,端到端最高 2.62x 和 2.27x。
NVIDIA 加入由 Google DeepMind、EMBL-EBI 等组成的全球研究联盟,通过 AlphaFold Database 开放 2800 多种病毒的蛋白复合物预测 3D 结构,供任何科学家免费使用。
微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。
NVIDIA 在新加坡 AI Day 上联合合作伙伴展示东南亚 AI 落地进展,新加坡 HTX 正基于 Nemotron 3 Super 与 Nemotron 3 Nano Omni 模型研究公共安全 AI。
NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0,这是一套基于 ROS 的 GPU 加速软件包集合,新增智能体工作流与平台支持,帮助开发者更快构建、定制和部署机器人应用。
oMLX 作者兼维护者 Jun Kim 加入 Hugging Face,全职投入 MLX 社区建设。oMLX 将从副业转为有资金支持的长期项目,仍保持 Apache 2.0 开源协议,由 Jun 继续领导,目标是提升稳定性并加快开发。
Hugging Face 为 transformers 加入 GGUF 支持,用户可从 Hub 选取量化检查点,用 from_pretrained 传入 gguf_file 即可在本地生成,无需额外配置。
NVIDIA 在埃及大埃及博物馆举办 AI 生态活动,其 Deep Learning Institute 埃及学员规模一年内增长超十倍。Hassan Allam 获埃及国家电信管理局数据中心牌照,并与 A15 合作开发预计投资 4 亿美元的新数据中心。NVIDIA 称非洲已有四座 AI 工厂宣布或上线,另有 656 兆瓦新增算力在建。
Mistral 宣布与 Mozilla 达成合作,Firefox 的 AI 浏览助手 Smart Window(beta)现由 Mistral 模型驱动,先面向法国和北美用户,英国和德国预计今年晚些时候跟进。
曼彻斯特大学团队基于 NVIDIA Earth-2 的生成式模型 Earth-2 CorrDiff,用一年英国逐小时污染数据训练出覆盖全英、分辨率 2-3 平方公里的空气污染模型,在 Isambard-AI 单个八 GPU 节点上仅用两天完成训练。