EXL 谈如何设计可持续演进的 AI 服务框架
EXL 提出企业 AI 的竞争优势正从模型能力转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再选架构,并以 KV cache 随并发和上下文增长导致 GPU 显存不足为例,强调先测量再优化。框架还应便于吸收新模型与新硬件,使换模型成为评估与配置决策而非架构重建。
EXL 提出企业 AI 的竞争优势正从模型能力转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再选架构,并以 KV cache 随并发和上下文增长导致 GPU 显存不足为例,强调先测量再优化。框架还应便于吸收新模型与新硬件,使换模型成为评估与配置决策而非架构重建。
Simon Willison 于 2026 年 10 月 22 日发布链接帖,分享音乐视频《DE STAAT - FREEDOM (Official Music Video)》,帖子归类为 music 标签。正文未提供视频内容或 AI 相关细节。
Discord 今日更新后,上传的 Markdown(.md)文件会正确渲染表格和格式,不再显示一堆符号。该改进对在平台上分享 AI 项目说明和 README 的用户有帮助。此次更新还支持右键侧边栏图标用“Move to…”整理服务器和频道,Nitro 会员上传文件上限提升至 1GB。
SpaceX 与特斯拉已成立特别委员会讨论合并事宜,马斯克在 SpaceX 财报电话会上称两家公司合并“很有价值”,理由是可在超级智能软件上合作。SpaceX 第三季度 AI 业务收入达 75.6 亿美元,其中 Cursor 贡献 6.08 亿美元,其余多来自向 Anthropic 和 Google 出租算力。
Meta 在安全研究人员指出 Muse 共享对话的公开链接易被找到后,已修复问题并重新开启分享功能。研究人员曾通过以对话标题命名的公开 DNS 地址找到营销公司内部营收评估、小企业主贷款申请等 Muse 页面。
Meta 修改商业账户条款、删除“训练”表述后,法律专家仍认为其 AI 可抓取新闻网站内容。Cornell Law School 教授 James Grimmelmann 指出,条款中“与你的产品或服务相关联”的措辞未受限,Meta 仍可抓取整站;律师 Matt Topic 称修订版仍允许用抓取内容“开发”任何“商业产品”,而“开发”足以涵盖“训练”。
Canva 发布首款自研图像生成模型 Canva Craft,采用两阶段架构,先规划设计再生成图像,官方称可获得更高的精度、一致性和控制力。
微软的 AI 诊断系统 MAI-DxO 在《Science》发表的研究中,对《新英格兰医学杂志》复杂病例的模拟诊断准确率为 83%,而单独工作的全科医生和内科医生为 36%;这些复杂病例通常由专科医生或团队处理,但后者未参与对比。
Canva 发布首款自研图像生成模型 Canva Craft,由内部研究团队开发,对标 Google、OpenAI、字节跳动和 Meta 的同类模型。该模型分两阶段生成:先解析提示词并规划元素空间关系、相对尺度、视觉层级和文字信息,再输出最高 2K 分辨率、支持 30 种宽高比的图像,官方称可保证物体细节准确、文字清晰,并支持局部精确编辑。
OpenAI 首次向所有用户开放 Decisions API,该模型在 9 月 29 日的开发者日上发布,本周四起对全部客户可用。它并非专门训练的决策模型,而是把 ChatGPT Luna 重新配置以加快推理并降低成本,产品负责人 Nikunj Handa 称延迟从 1 至 3 秒缩短到 100、120、180 毫秒。
1Password 推出 1Password for Agents,用户可授权 AI 智能体代为登录个人账户,智能体全程不接触用户凭证。该平台在智能体、用户与密码管理器之间建立通信:智能体发起登录时向 1Password 发送唯一数字密钥确认身份,用户收到提醒并亲自确认后,由 1Password 代为填入凭证完成登录。
Microsoft Research 发布 Flint-interactive,一种构建在 Flint 之上的交互式数据可视化语言,让智能体生成可点击、筛选、缩放、高亮和跨图表联动的图表。
Gartner 对 2002 名 CIO 及技术负责人的调查显示,仅 13% 的受访者表示从 AI 获得了重大或变革性回报。58% 的 CIO 被要求用 AI 实现降本,但 51% 预计 AI 会推高其技术栈的总运营成本,44% 的 CEO 难以向利益相关方证明 AI 带来的财务回报。
Google 发布 Agent Compute Engine,为每个 AI 智能体分配独立的隔离虚拟机,该服务已用于支撑 Gemini,并将在未来几个月开放预览。
据 Axios 报道,摩根士丹利、摩根大通、美国银行和富国银行等多家美国大型银行正在限制外部 AI 智能体访问客户账户,因为智能体使用客户提供的凭据登录违反了银行要求账户持有人本人登录的政策。
Allen AI 发布 OlmoEarth v1.3 卫星嵌入模型,读取一年的 Sentinel-1、Sentinel-2 和 Landsat 时序数据,为地球上每 10 米像素生成 128 维向量,前 64 维可单独使用。
Rescale 基于 AWS 的 AI-DLC 框架构建了 AI 分诊智能体,从问题定义到 staging 部署仅用五天,数周内进入生产。
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题,AWS 在 Amazon SageMaker AI 实时端点上部署了 8200 万参数的 Kokoro-82M,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型,把 AI 智能体生成的每个句子即时送入合成,让音频在完整回复生成前就开始播放。
Amazon Quick 是 AWS 的 HIPAA-eligible 服务,其 Web、桌面和移动客户端均可在签署 AWS BAA 后处理 PHI。该平台的 chat agent 可跨临床笔记等非结构化内容和理赔、会员记录等结构化数据执行多步任务,并通过 connectors 与 MCP 接入外部系统。
Amazon SageMaker AI 的训练会话 API 把抽象层下移到训练操作,开发者在本机用 Python 编写训练循环,通过 forward_backward、optim_step、sample 等调用在托管 GPU 上执行,服务负责模型与 LoRA 加载、分布式执行、故障恢复和检查点存储。
AWS 宣布 SageMaker AI 无服务器模型定制中的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与 checkpoint 存储由平台负责。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,让员工用自然语言查询零售运营、兽医诊疗、人事入职和采购等文档,覆盖四语言、三国家且无需自管 RAG 基础设施。
Amazon Polly Generative 引擎完成升级,语音更自然准确且延迟更低,新增 14 个声音、覆盖 9 个 locale,并首次正式提供印地语和芬兰语生成式声音。
Modal CEO Erik Bernhardsson 解释 AI 算力需求并非固定矩形合同:真实负载会增长、尖峰和回落,Modal 通过聚合数千客户需求、在底层锁定容量,让客户按需弹性使用。
Uber 正在向超过 30,000 名员工部署 ChatGPT Work,帮助团队开展调研、分析数据、制作演示文稿并完成复杂工作流。该部署由 OpenAI 提供支持。
Armin Ronacher 就 AI 智能体(及其派生的子智能体)与人类拥有同等访问权限、却从不休眠这一问题发表看法。相关讨论由 Teleport 赞助,聚焦如何通过隔离的临时可信运行时监控并约束智能体行为。
Anthropic 宣布把 Agent Skills 标准捐赠给 Linux 基金会下的 Agentic AI Foundation(AAIF),该基金会由 Anthropic 与 Block、OpenAI 于去年共同创立,此前 MCP 规范也已捐入。
联邦披露文件显示,Anthropic、OpenAI 和 Nvidia 在 7 月至 9 月均创下各自单季游说支出最高纪录,Nvidia 以 220 万美元居首,Anthropic 为 210 万美元,OpenAI 为 150 万美元。
Laika 新片《Wildwood》导演兼 CEO Travis Knight 称生成式 AI“与工作室的一切完全对立”,认为技术应由艺术家掌控,AI 生成内容缺乏人性与灵魂。这部定格动画耗时五年、动用超 230 个木偶和 49 名动画师,全片参与艺术家超 1000 人,将于 10 月 23 日首映。Knight 表示不反对 AI 在医学、科学等领域的应用,但担忧其被滥用。
改装者 "pepsipu" 利用旧游戏 SmileBASIC 4 和 OpenAI Codex 实现了 Switch 2 的软件破解 "ns2jb",并已演示运行加入 Cinnamoroll、Peter Griffin 等角色的自定义版 Mario Kart World。该破解为仅软件、需每次开机重新执行的 tethered 方式,完整影响尚不明确。
微软发布由 GPT-5 驱动的 Diagnostic Orchestrator,用多个 AI 智能体推理症状、决定检查项目并给出诊断,在《新英格兰医学杂志》病例上准确率约 83%,使用参考资料的全科医生约 36%,无参考资料者约 22%。
Meta 在周三财报电话会上把个人 AI 智能体 Muse 列为未来核心,扎克伯格称已有超 1000 万美国与加拿大用户下载并设置,其中四分之一每日使用,四分之一通过平台购物、单笔平均超 200 美元。
Meta 在第三季度财报电话会上确认,计划通过股票股息向现有股东派发一类新的无投票权股票,用于融资、员工薪酬、收购等一般公司用途,同时保留现有 A、B 类股东的投票权。
Uber 与 OpenAI 扩大合作,其全球约 3 万名员工将全部使用 ChatGPT Work。该产品今年 7 月推出,定位企业级 AI 智能体;Uber 此前在 1000 名员工中试点,覆盖财务、运营和产品等部门,其中约 80% 为非工程师,用于分析运营数据、本地化培训材料和搭建交互式看板。Uber 未披露此次推广的支出,表示将跟踪员工使用方式和开发出的工作流,再据此决定后续部署。
微软安全研究人员称,中国国家关联黑客攻破 IT 管理与远程访问厂商 ConnectWise 的云备份服务,窃取用于建立客户数据链路的应用程序凭证,进而以授权用户身份登录客户托管在微软的环境,读取邮件和其他文件。
Recursive 发布首个语言模型 Flint,开发过程中名为 Eureka Machine 的 AI 系统参与提出想法、搭建、测试并规划后续实验。
Google DeepMind 与 Google Research 联合 WRI、IIASA 发布 Forest Typology(ForTy)2020,把全球每一块 10×10 米土地划入六类森林与土地利用类型,作为欧盟无毁林法规(EUDR)的关键基线。
Moshi CEO Anekha Sokhal 在 Latent Space 播客中讲述从数学、JPMorgan 能源衍生品交易到创业的路径,以及 Moshi 如何为交易员做推荐引擎。
NVIDIA 发布 AIOps 平台 Minerva,汇集基础设施与 AI 工作负载的遥测数据,用专用 AI 模型把数据转成可执行的洞察。平台跨 GPU、SuperNIC、交换机、存储、调度器和作业构建动态知识图谱,每小时分析数十亿数据点,可把大量告警聚合成带根因的单一事件。