JioStar 首席架构师谈 5 亿用户规模下的 AI 发现
JioStar 首席架构师 Vijay Seshadri 分享了在 5 亿用户规模下做 AI 发现的实践经验,涵盖 evals、guardrails 以及将 AI 推向生产环境的要点。
JioStar 首席架构师 Vijay Seshadri 分享了在 5 亿用户规模下做 AI 发现的实践经验,涵盖 evals、guardrails 以及将 AI 推向生产环境的要点。
Resend 联合创始人兼 CEO Zeno Rocha 在 Latent Space 播客中讲述如何为 AI 智能体设计产品。一项 AEO 研究中,Claude Code 在可提取的 102 次邮件推荐里有 64 次首选 Resend;录制时 Resend 拥有 430 万用户和 12 万付费客户,其 MCP 服务器工具数已从发布时的约 20 个增至 80 多个。
走访弗吉尼亚州 Data Center Alley 后可见,数据中心引发的反对更多源于电力问题而非科技公司所称的文化战争。当地数据中心平均功率达 54 兆瓦,超过丹佛国际机场用电量;AI 训练所需最小数据中心为 300 兆瓦,理想规模约 6000 兆瓦,相当于芝加哥全市用电。Anthropic 据报已同意支付 34 亿美元购买燃气轮机。
Legora CTO Jacob Lauritzen 在 Latent Space 播客中讲述如何在看不到智能体运行轨迹的情况下构建法律智能体——数据归律所客户所有。Legora 用三名工程师加三名律师搭建模拟客户工作的测试环境,某次发布后引用准确率从 70% 升至 99%。其 Tabular Review 可在单张表格中审阅 10,000 份合同,全部服务运行在 Azure 上。
Latent Space 访谈 Legora CTO Jacob Lauritzen,讨论为律师构建 AI 智能体所需的能力与经验。
智能体完成一次编码任务消耗的 token 可达普通对话提示词的 10 到 50 倍,按 token 计费让高价值工作流反而最贵,Uber 据称在 4 月就用完了 2026 年全年 AI 预算。
OpenAI CEO Sam Altman 在 Cheeky Pint 播客中表示,从全球资源分配角度看,让每个人把有限的 DRAM 放在自己电脑里、只用到 5% 是"相当糟糕的",供应受限环境下应追求云端最大利用率。
MIT Technology Review 探讨工业 AI 在自主决策与人类控制之间如何取得平衡。文章指出,随着 AI 在工业场景中承担更多自主判断,企业需要设计相应机制,让人始终保有监督与干预能力。
Latent Space 邀请 Anthropic 的 Katelyn Lesse 和 Angela Jiang 讲解 Claude Platform 的工程实现,包括 Opus 5.5 的发布、把模型“大脑”与智能体“双手”解耦、API 扩容以及构建可靠的托管智能体。
Latent Space 访谈 Anthropic 工程负责人 Katelyn Lesse 与产品负责人 Angela Jiang,复盘 Opus 5.5 的发布过程与 Claude Platform 的工程取舍。
制造业的工业智能由积累的工艺知识、生产数据与业务理解构成,当前机会是让这些智能在决策现场可用,并与物理世界连接。Toyota Industries 打通碎片化喷漆车间数据后,分析周期从五天降至四小时以内,试点中相关喷漆缺陷减少约 25%。Rockwell Automation 新加坡工厂用维护 copilot 整合制造数据、设备手册与老员工经验,新员工掌握数百台设备排障的时间从九个月缩短到三个月。
Supabase 联合创始人 Paul Copplestone 和 Ant Wilson 在访谈中讨论如何为 AI 智能体大量生成应用的世界设计后端,包括在数据库旁运行长时工作负载的 Supabase Compute、让 schema 更易被智能体理解,以及 Postgres 可靠性与扩展。
Moshi CEO Anekha Sokhal 在 Latent Space 播客中讲述从数学、JPMorgan 能源衍生品交易到创业的路径,以及 Moshi 如何为交易员做推荐引擎。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出“决策智能”,主张 AI 智能体必须理解任务在业务流程中的角色与约束,否则会遗漏关键限制、造成高昂错误或浪费算力。他建议企业从具体业务决策入手,先找出最困难的环节再测试 AI 能否改进,并以速度与价值增益决定是否扩展。这一路径还需投入员工教育,让员工理解 AI 输出而非直接交出决策权。
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 分享了公司如何把"按交付成果付费"的模式扩展为工程组织实践,公司已增长至 75 人,客户覆盖财富 2000 强与中型企业。
SF Compute 正在把 GPU 算力做成可交易市场,并亲自承担物理交付:买家拿到的是可用算力,而非对指数的现金结算。CEO Evan Conrad 称 NVIDIA 因缺乏中立性无法自建这类交易所,而 SF Compute 通过匹配不同约束条件的订单,在技术持续迭代时仍能促成交易。公司还支持按需切分 InfiniBand 网络结构,让基础设施可编程。
企业 AI 正从零散的聊天机器人实验变成业务基础层,衡量指标也从 token 或 GPU 小时价格转向"每个有用产出的有效成本"。企业可选自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 将调度、模型选择、GPU 分区和缓存管理作为运营杠杆,其委托的独立测试显示高利用率多负载平台的每 token 有效成本低于反复租用同等容量。
AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张在智能体行为可被验证时让它自主行动,把人工判断留给真正需要决策的环节。
Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 播客中介绍,Dyna-2 是基于超过一百万小时人类视频预训练的世界动作模型,采用扩散 Transformer 与 flow matching,先预测未来视频再生成机器人动作。
Ornn、Silicon Data 与 Bloomberg 截至 2026 年 8 月的数据显示,AI token 价格持续下跌,但 H100 GPU 租赁价格保持稳定甚至上涨,a16z 称这是 AI 市场的教科书级杰文斯悖论。
Simon Willison 呼吁按量付费 API 和服务默认设置硬性预算上限,即达到 $X/月后直接切断并返回错误,而非仅发警告邮件。他指出 AWS 已在 9 月 16 日推出月度支出限额功能,项目达到限额后当月暂停,但该功能目前仅向有限客户开放;Google Cloud 则在 7 月推出了 Spend Caps。
MIT Technology Review 报告指出,企业 AI 的规模化瓶颈是结构性的,2026 年全球 AI 投资将达 2.5 万亿美元、同比增长 44%,但多数企业仍未靠 AI 实现收入增长。报告提出“智能体转型”需同步重构架构与运营模式:以可访问性而非数据量重建数据基础设施、用可组合架构替代固定技术栈,并解决 AI 主权问题。
HPE 提出企业应重新审视 AI 的消费式定价:当客服、IT、研究等智能体工作流带来持续且可预测的需求时,按请求购买 AI 未必比自建容量更划算。Deloitte 2026 企业 AI 报告显示,2025 年员工 AI 使用率上升 5%,至少 40% 的 AI 项目进入生产的公司比例预计在六个月内翻倍。企业需按实际工作负载测算利用率交叉点,并通过采用、治理与用例扩展让自有容量保持产出。
GitHub Copilot 应用引入 canvas——一种运行在应用内、无浏览器外壳的全栈小应用,可与 Copilot 智能体双向通信,也能调用第三方 API 或在本地执行代码。
TypeSafe AI 创始人兼 CEO Diogo Almeida 在 Latent Space 播客中介绍新模型 Jev,称其为面向软件消费的 System One 大模型。
NVIDIA 提出 AI 安全应按工程问题处理,需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体推理范围之外强制执行策略并提供沙箱化执行,Cisco DefenseClaw 在其上增加治理层,JFrog 则集成 OpenShell 扫描和验证智能体技能。
Hugging Face 博客指出,AI 的下一个真正约束不是智能而是 GPU 利用率:GPU 按日历小时计费,却只在计算小时产出,与航空业飞机停场成本结构相同。
随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1、部分厂商低于 $0.10,UC Berkeley 的 Aditya G. Parameswaran 等人提出智能体时代数据系统的三大方向:面向智能体(For Agents)、由智能体运行(Of Agents)、由智能体构建(By Agents)。
伯克利 AI 研究团队梳理了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。现有方法如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 多由外部预设并行结构,未教会模型自适应行为。