llama.cpp 与 ggml 发布 v1.0.0，确立语义化版本规则
llama.cpp 与 ggml 发布 v1.0.0，并明确此后公共 C API 的破坏性变更将以主版本号提升来体现。项目方称 llama.cpp 目前支持超过 150 种模型架构以及所有主流投机解码方法，并已通过 Docker、Homebrew、conda-forge、MacPorts、Winget、XCFramework 等渠道分发。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 1–20 条 · 共 79 条11月13日
Amazon Bedrock AgentCore runtime 更新：会话启动快 15 倍、算力扩至 4 倍
AWS 发布下一代 Amazon Bedrock AgentCore runtime，每个会话仍运行在独立的 Firecracker MicroVM 中，会话启动最高快 15 倍、算力规模扩至 4 倍、运行效率提升最高 68%。
11月12日
AWS 开源 UAEF：跨框架闭环评测 AI 智能体
AWS 发布开源框架 UAEF，用适配器把 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的执行轨迹统一为 AgentTrace，再以 7 个维度 36 项内置指标打分。
11月11日
Anthropic 称 AI 正削弱 Nvidia CUDA 优势，AMD 芯片迁移从数月缩短到三天
Anthropic 在投资者材料中称，其前沿模型 Mythos 几乎无需人工介入，三天内就把 Claude 移植到 AMD MI355X GPU 上运行，并自行编写了近 100% 的 kernel，而传统工程方式需要六到十二个月。
NVIDIA 将 OpenShell 贡献给 CNCF，并发布 DSX AI Factory 平台新组件
NVIDIA 在 KubeCon + CloudNativeCon 上把用于保障和治理自主智能体的开源运行时 NVIDIA OpenShell 贡献给 CNCF。
11月6日
Mistral 发布 Mistral Large 4（Le Chonk）并扩展 Mistral Studio
Mistral 发布 Mistral Large 4（代号 Le Chonk），主打编码、防御性网络安全和复杂文档推理，同时扩展企业平台 Mistral Studio，新增托管智能体、应用、工作流能力以及企业上下文、智能体可观测性和评估功能。
11月5日
生产级 AI 智能体的四层上下文工程：Deep Insight 如何在可运行代码中落地
AWS 团队以开源多智能体数据分析方案 Deep Insight 为参考实现，把生产级 AI 智能体的上下文工程拆成四层：多智能体架构隔离上下文、用提示词限制输出、把重内容外置到文件系统、用独立智能体与兜底机制做验证。
10月22日
NVIDIA 发布 Minerva，为 AI 工厂提供端到端可观测性
NVIDIA 发布 AIOps 平台 Minerva，汇集基础设施与 AI 工作负载的遥测数据，用专用 AI 模型把数据转成可执行的洞察。平台跨 GPU、SuperNIC、交换机、存储、调度器和作业构建动态知识图谱，每小时分析数十亿数据点，可把大量告警聚合成带根因的单一事件。
NVIDIA Cosmos 扩展训练、评估与部署世界模型的新工具
NVIDIA 扩展 Cosmos 平台，新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图，用于构建理解并模拟真实世界的世界模型。
Google Research 用 AI 辅助超声评估孕周，误差与专家操作相当
Google Research 在 JAMA Network Open 发表研究，评估 AI 模型基于盲扫超声估算孕周在不同临床环境与硬件上的泛化能力。
Dharma-AI 如何通过词表专用化将 SLM 推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文，用按 token 成本而非频率重建词表的方法，在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%，平均响应从 350 个 token 降到 101 个，bench 分数从 0.703 升到 0.810。
10月21日
OpenAI 模型将上线 Google Cloud
OpenAI 与 Google Cloud 合作，将 OpenAI 前沿模型和 Codex 工作流接入 Gemini 的 Model Garden，并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。
NVIDIA GTC Berlin 2026：黄仁勋发布 DSX POD、OpenShell 与多款开源模型
NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中宣布多项发布，包括由合作伙伴在模块化容器内构建的 Vera Rubin AI 工厂参考设计 DSX POD，现场部署时间可从六个月缩短至 14 天。
Google Cloud 与 NVIDIA 宣布 Vera Rubin 基础设施正式可用
Google Cloud 与 NVIDIA 宣布基于 Vera Rubin 的 A5X 实例正式可用，下月开放并计划扩展至欧洲。A5X 整合 NVIDIA Vera Rubin NVL72、ConnectX-9 SuperNICs、Google Cloud Virgo Network 与第四代液冷技术，面向大规模智能体推理和强化学习负载。
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出，覆盖 NVIDIA 和华为昇腾平台。
Google 开源 TorchTPU，让 PyTorch 应用无需重写即可跑在 TPU 上
Google 周二宣布开源 TorchTPU，这是 PyTorch 的 TPU 版本，开发者只需修改配置、无需重写代码，就能把现有 PyTorch 应用迁移到 Google 的 TPU 和 Google Cloud。
Hugging Face 接入 TorchTPU，Transformers 与 Diffusers 原生支持 TPU
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 现在可直接在 TPU 上运行，加载模型只需传 device_map="tpu" 或 pipe.to("tpu")，不再需要 torch_xla 或 Optimum TPU。
10月20日
Hugging Face 推出 TorchNeuron，让模型在 AWS Trainium 上运行更简单
Hugging Face 发布 TorchNeuron，为 PyTorch 在 AWS Trainium 上提供原生后端，Transformers、Diffusers 和 Kernels 原生支持，10 月 20 日起以公开 beta 开放，可通过 pip install torch-neuronx 安装。
10月16日
Reflection AI 发布开源权重模型 Beam，面向智能体编码并在 AWS 上线
Reflection AI 发布开源权重模型 Beam，面向智能体编码与长周期任务，可维护代码、调用工具并完成多步工作流。
Reflection 发布 501B 开源 MoE 模型 Beam，支持 1M 上下文与编码智能体
美国新实验室 Reflection 在 Hugging Face 发布首个开源模型 Beam，采用 MoE 架构，总参数 501B、每 token 激活 23B，支持 1M token 上下文，以 Apache 2.0 许可开放，面向编码与智能体场景。