Claude Sonnet 5.5 上线 Amazon Bedrock 与 Claude Platform on AWS
AWS 宣布 Claude Sonnet 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上可用，定位为面向编码与知识工作的更高效 Sonnet 模型，多数任务单任务成本更低、速度更快。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 41–60 条 · 共 79 条9月29日
9月24日
微软研究院：把物理 AI 推理卸载出机器人，任务成功率与续航同步提升
微软研究院对移动操作机器人工作负载做了系统性测量，发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU，可提升任务成功率、支持更大模型并延长续航。
9月22日
NVIDIA 发布 Isaac ROS 5.0，推进智能体化开源机器人开发
NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0，这是一套基于 ROS 的 GPU 加速软件包集合，新增智能体工作流与平台支持，帮助开发者更快构建、定制和部署机器人应用。
InstructGPT 作者 Diogo Almeida 谈 Jev：为软件而非聊天打造的 System One 模型
TypeSafe AI 创始人兼 CEO Diogo Almeida 在 Latent Space 播客中介绍新模型 Jev，称其为面向软件消费的 System One 大模型。
9月17日
GitHub 用 Copilot 把 Copilot 运行时迁移到 Rust
GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust，AI 智能体写了大部分代码，跨 128 个 PR 增量落地，性能提升数个数量级。
9月16日
NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA 在 MLPerf Inference v6.1 首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上最高达 2.5 倍。
NVIDIA 详解 DSX 如何提升 AI 工厂每兆瓦产出
NVIDIA 在 AI Infra Summit 上介绍 DSX 平台，用于在固定电力预算下提升 AI 工厂的 token 吞吐。Lambda 在五机架 19 节点 HGX B200 集群上验证 DSX MaxLPS，以 19 节点运行在 16 节点满功耗的同一预算内，集群 token 吞吐提升 24%，从约每秒 400 万 token 增至 500 万，每瓦性能提升 23%。
NVIDIA 在 AI Infra Summit 发布 Vera Rubin 与 DSX 平台能效进展
NVIDIA 在 AI Infra Summit 上公布 Vera Rubin 与 DSX 平台的多项进展，重点展示每兆瓦 token 吞吐的能效优化。
9月5日
GitHub 推出 Project HydraFusion：多模型编排实现前沿级编码质量
GitHub 发布研究预览 Project HydraFusion，通过运行时多模型编排为 Copilot 提供前沿级编码能力，用户可在 GitHub Copilot CLI 中通过 /experimental 启用，费用按各模型实际消耗的 token 标准价计。
9月1日
Hugging Face 发布 @huggingface/kernels：207 个 WebGPU kernel 与 Fleet 基准工具
Hugging Face WebAI 团队发布 @huggingface/kernels，一个从 Hugging Face Hub 加载并运行优化 WebGPU kernel 的轻量库，同时上线 207 个 kernel 的初始集合，均以 Apache-2.0 许可发布为独立仓库。
8月21日
Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.2 倍
Liquid AI 为 LFM2.5 家族的三款模型 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下提升解码速度，GPU 上吞吐最高提升 3.18 倍，端侧最高 2.87 倍。
8月14日
用 Strands Agents、LeRobot 和 Hugging Face Storage Buckets 打通录制、训练与部署闭环
Hugging Face 博客给出 Strands Robots 的流式数据闭环教程，用同一个 Robot() 对象完成录制演示、同步到 Storage Bucket、从 Hub 流式读取训练并把 checkpoint 部署回硬件，全程保持 LeRobot 磁盘格式不变。
8月11日
NVIDIA 发布 Magpie TTS 多语言版：开放权重、支持 12 种语言
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持英语、西班牙语、法语、德语、意大利语、越南语、中文、印地语、日语以及新增的现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言。
7月8日
Hugging Face 发布原生速度的 vLLM transformers 建模后端
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已达到甚至超过 vLLM 手写原生实现的吞吐速度。该后端通过 torch.fx 做静态图分析、用 ast 重写源码，在运行时动态应用推理相关的层融合，从而匹配自定义代码的性能。
7月7日
微软 Foundry 上线 Hugging Face 模型托管计算
微软在 Build 2026 宣布 Foundry Managed Compute 与 Hugging Face 模型集合，将 Hugging Face 生态的开源权重模型每周更新、一键部署到 Foundry 托管 GPU 平台。
Hugging Face 与 SkyPilot 联合推出零出口流量存储集成
Hugging Face 与 SkyPilot 联合发布集成，用户可用一个 hf:// URL 和已有的 HF_TOKEN 把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务，并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。
6月27日
Google 用冻结多 Token 预测加速 Pixel 上的 Gemini Nano 模型
Google Research 发布一种新架构，将多 Token 预测（MTP）头接到已冻结的 Gemini Nano v3 模型上，在不改动主干权重的前提下加速端侧推理，已随 Pixel 9 和 10 系列推出。
6月24日
Mistral AI 为 Connectors 增加管理员控制、API key 作用域与调试器
Mistral AI 为 Connectors 推出多项新能力：按 workspace 或组织设置连接器访问权限、开关单个工具的管理员控制已 GA，带连接器作用域的 API key 已 GA。
6月23日
Mistral 发布 OCR 4 文档解析模型
Mistral 发布 OCR 4，在提取文本之外返回边界框、块类型分类和逐页逐词置信度，支持 170 种语言并可单容器自托管部署。官方称独立标注者在 600 多份文档的盲评中平均 72% 更偏好 OCR 4，其在 OlmOCRBench 得 85.20、OmniDocBench 得 93.07，但官方提示这两个基准的评分方式存在已知局限。
6月11日
Google DeepMind 发布 DiffusionGemma 文本扩散模型，推理速度最高提升 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散方式并行生成整块文本，在专用 GPU 上推理速度最高提升 4 倍。