EXL 谈如何设计可持续演进的 AI 服务框架
EXL 提出企业 AI 的竞争优势正从模型能力转向围绕模型构建的服务框架（serving harness），即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再选架构，并以 KV cache 随并发和上下文增长导致 GPU 显存不足为例，强调先测量再优化。框架还应便于吸收新模型与新硬件，使换模型成为评估与配置决策而非架构重建。
全部 AI 动态
全部 AI 动态
今日 0 条10月23日
Rescale 如何用 Strands Agents 和 AI-DLC 构建 AI 分诊智能体
Rescale 基于 AWS 的 AI-DLC 框架构建了 AI 分诊智能体，从问题定义到 staging 部署仅用五天，数周内进入生产。
别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题，AWS 在 Amazon SageMaker AI 实时端点上部署了 8200 万参数的 Kokoro-82M，用实测的 Q_max（单实例在 SLO 内可承受的最高并发）和 T_total（一次扩容端到端耗时）推算扩容阈值、缩容阈值与两个冷却时间。
在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型，把 AI 智能体生成的每个句子即时送入合成，让音频在完整回复生成前就开始播放。
IskayPet 如何用 Amazon Bedrock Managed Knowledge Bases 统一企业知识
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手，让员工用自然语言查询零售运营、兽医诊疗、人事入职和采购等文档，覆盖四语言、三国家且无需自管 RAG 基础设施。
10月22日
多智能体系统的 5 个生产挑战，以及 Deep Insight 如何解决
AWS 解决方案架构团队开源了多智能体系统 Deep Insight，用 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等智能体把 CSV 数据分析自动生成带引用的 DOCX 报告。
如何用 AWS PrivateLink 为 Amazon Quick 打通企业内网私有访问
AWS 发布方案，通过 AWS PrivateLink 的 VPC 端点与 Quick 的 VPC 连接，让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
在 AWS Trainium 上用 torchtitan 训练 Qwen3
在单台 trn2.48xlarge（16 颗 Trainium2、64 个逻辑 NeuronCore）上，torchtitan 可通过 TorchNeuron 把 Trainium 注册为原生 PyTorch 设备。
基于 Strands Agents 的自适应智能体框架 AAIF：用本地 SLM 分流请求、复杂任务交给 Amazon Bedrock
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework（AAIF）用 llama3.2:1b 作为编排层对请求分类，常规任务由 Ollama 本地 SLM 处理，复杂分析经 boto3 路由到 Amazon Bedrock。
TorchNeuron 性能剖析（一）：在 AWS Trainium 上做系统级性能分析
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇，讲解如何在 AWS Trainium 上用 torch.profiler 配合 NeuronConfig 与 NeuronProfiler 抓取干净的 trace，并通过 key_averages() 表定位消耗 Neuron 设备时间的算子。
Dharma-AI 如何通过词表专用化将 SLM 推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文，用按 token 成本而非频率重建词表的方法，在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%，平均响应从 350 个 token 降到 101 个，bench 分数从 0.703 升到 0.810。
10月21日
Simon Willison 用 Claude Code 打造 RTS 游戏 Battle Drones，支持音频同步多人对战
Simon Willison 发布浏览器端 RTS 游戏 Battle Drones，经 12 个大版本迭代、321 次由 Claude Code 等编码智能体提交的 commit，支持手机与桌面游玩。游戏含 9 种建筑、7 种地面载具、6 种空中载具和 3 种步兵单位，并具备战争迷雾、随机地图生成与 AI vs. AI 模式。其多人模式让两台邻近设备通过音频消息同步游戏状态。
用 AtScale 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示了以 AtScale 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体的 C360 方案，AtScale 用基于 YAML 的 Semantic Modeling Language 建模，并通过 SQL、XMLA 和 MCP 三种协议同时暴露同一模型。
用 Strategy Mosaic 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示了以 Strategy Mosaic 为语义层、在 Amazon Redshift 与 Amazon Aurora 上构建 Customer 360 模型，并通过 MCP 端点让托管在 Amazon Bedrock AgentCore 上的 Strands 智能体访问该模型。
用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
本文演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体，联邦查询 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 三处数据源，构建 Customer 360 视图。
Eon 如何基于 Amazon Bedrock AgentCore 的 MCP Gateway 构建多云调查能力
Eon 用 Amazon Bedrock AgentCore 的 MCP Gateway 替换了逐工具凭证和本地 MCP 进程，让开发者和自主 SRE 智能体通过单一认证网关访问 AWS、GCP、Azure 三朵云上的调查工具。
在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全
AWS 与 Keyfactor 联合发布参考架构，用 Keyfactor EJBCA 的 X.509 PKI 为基于 MCP 的 AI 智能体建立可验证、可撤销的身份。
Octave 如何基于 Amazon Bedrock 构建安全的多租户 AI 基础平台
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台，将每个用例的部署时间缩短 50%。该平台为 Reliance 质量管理系统嵌入 2 亿级文档，并通过 AgentCore Gateway 隔离执行、以 Amazon Bedrock Guardrails 做输入输出双重过滤，确保租户数据不越界。
在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
GPT-OSS-20B 在 50 例多语言推理测试中仅 22% 用目标语言推理（英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%），团队在 Amazon SageMaker HyperPod 上用 LoRA 结合 SFT 与 GRPO 微调以纠正其英语偏好。结论是 SFT 承担主要工作，GRPO 在存在提升空间时进一步优化，技术选择需匹配能力差距。
用 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能
Amazon Quick 与 Amazon Bedrock AgentCore 组合，让供应链管理者用自然语言跨 ERP、监控、采购等系统提问并获得可执行答案。
三位 Java Champion 如何用 GitHub Copilot 提升生产力
三位拥有十余年 Java 经验的 Java Champion 分享了在生产与开源项目中使用 GitHub Copilot 的实践。Vlad Mihalcea 借助 Copilot 将原本需数周的功能开发缩短至两天，并用 65 篇文章训练自定义技能让生成文本贴合个人风格。
10月20日
PyTorch 2.15 为 MPS 带来 FP8 与更快的 LLM 解码
PyTorch 2.15 在 MPS 后端加入 FP8 张量与 F.scaled_mm，并让 MoE 模型解码比 2.14 快 5–6.5 倍，Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s。
如何在 VS Code 中继续 GitHub Copilot 应用会话
GitHub Copilot 应用中的会话可直接在 VS Code 中打开，保留任务、计划和对话上下文，以及会话对应的 worktree 和代码 diff。用户可在 VS Code 中逐行审查改动、手动编辑、用集成终端运行测试，并继续向 Copilot 提问。完成后可将改动提交并推送到该会话关联的 pull request。
AWS 在 vLLM 中用双向 KV 传输改善多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已算好的 KV 返回 prefill 节点复用，避免重复计算对话历史。在 Amazon EC2 P5en 实例加 EFA 的 1P1D 部署上，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
vLLM 推出 push 模式 KV 传输：分离式推理 TTFT 最高提升 3 倍
vLLM 新增 push-based NIXL connector，把 KV 传输的协调与建立过程移出首 token 关键路径，在 Amazon EC2 P5en 集群的 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 提升最多 30%。
Deepgram 如何用 AWS Trainium 优化大规模语音 AI
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2，用于联络中心分析、医疗转录等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有算力方案多 11%–70%。
10月17日
用 Amazon Bedrock AgentCore 构建 AI 智能体的生产级评估框架
AWS 销售、营销与全球服务（SMGS）运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向全球现场销售的多智能体系统评估框架，用于在每次发布前及生产环境中持续验证回答是否有据、正确，并追溯失败根因。
10月16日
sparqlite：用 Rust 在 SQLite 内实现 SPARQL 1.1
sparqlite 是一个用 Rust 编写的 SQLite 可加载扩展，将 RDF 四元组存入普通 SQLite 表，并在 SQLite 进程内原生执行 SPARQL 1.1 查询与更新。
10月15日
Claude Opus 5.5 Max 用 3 小时做出 Three.js 游戏「Tree Appreciator」
Simon Willison 用 Claude iPhone 默认应用的聊天模式，让 Claude Opus 5.5 Max 构建一款名为「Tree Appreciator」的 Three.js 游戏，玩法是欣赏两棵算法生成树木之间的差异。Claude 耗时 3 小时 7 分钟，交出一款带音乐、动画和成就系统的找不同小游戏，可玩性相当高。
用 Amazon Bedrock AgentCore 构建自改进文档处理系统
亚马逊云科技介绍如何用 Amazon Bedrock AgentCore 构建智能体式 IDP 系统，由 8 个专用智能体组成识别与训练两条工作流，自动分类、提取、校验并学习新文档格式。系统可在 20 分钟内完成部署，新格式文档经训练后可直接复用提取指令，无需人工配置模板。
10月14日
如何用 Amazon SageMaker JumpStart 部署并评测模型
Amazon SageMaker JumpStart 提供预训练模型目录，可通过 SageMaker Python SDK 部署模型、用示例提示词测试延迟与单请求生成速率，并在测试完成后删除端点。2026 年 JumpStart 新增 Model Hub 浏览与预配置端点部署选项，并支持从 Hugging Face 一键跳转至 SageMaker AI 部署。
用 Amazon Bedrock AgentCore 生成演示文稿
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成客户 PowerPoint 演示文稿，内部测试中完成时间不到 90 秒。
用 Python 3.15 对 web-edit 做性能分析：火焰图与源码热力图
用 Python 3.15 内置的 `profiling.sampling` 对未修改的 web-edit 应用做性能分析，发现混合换行符保留是编辑负载的主要瓶颈：`preserve_endings` 出现在 64.8% 的 15,296 个 CPU 栈中，`SequenceMatcher.find_longest_match` 占叶子样本的 38.3%。
如何用托管权益管理 Amazon Bedrock 私有定价优惠
Amazon Bedrock 结合托管权益（managed entitlements）可让企业在一个中心账户订阅 AWS Marketplace 私有定价优惠（MPPO），再把访问权限分发到组织内多个账户。
10月13日
Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在 decode 阶段因 M 维过小导致 Hopper GPU 利用率低的问题，AWS 提出 Swap-AB 优化，将专家输出维度 N=8192 提升为首操作数，在 H200 上为大规模 MoE 模型带来 2–4% 端到端吞吐提升，该优化已合入 vLLM 0.24.0 及更高版本。
用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers，可在 Amazon EKS 上把单个大语言模型拆分到两个 GPU 节点，以 prefill/decode 分离方式共用一个 OpenAI 兼容端点。
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
AWS 发布 llama.cpp 专用深度学习容器（DLC），可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型，并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
Python 3.15 发布：支持显式惰性导入，Python 3.10 正式停止支持
Python 3.15 正式发布，新增 PEP 810 显式惰性导入（lazy import）和推导式解包语法，标准库加入采样分析器 Tachyon（profiling.sampling）。
GitHub Copilot 入门指南：如何让 Copilot 了解你的代码库
GitHub Copilot 入门系列介绍四种让 Copilot 适配项目的方式：仓库级自定义指令写入 .github/copilot-instructions.md。
10月11日
在本地跑 AI 模型是种什么体验：兴奋、不知所措与挫败
The Verge 编辑在 M5 Ultra Mac Studio 上安装开源 AI 智能体 Hermes Agent，并选用 1250 亿参数的 Qwen 3.8 Flash Next 模型（约 105GB）进行本地 AI 实测。