智能免费之后怎么办？面向智能体、由智能体运行、由智能体构建的数据系统
随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1、部分厂商低于 $0.10，UC Berkeley 的 Aditya G. Parameswaran 等人提出智能体时代数据系统的三大方向：面向智能体（For Agents）、由智能体运行（Of Agents）、由智能体构建（By Agents）。
#部署/工程
#部署/工程
今日 0 条7月7日
5月8日
自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队梳理了并行推理领域进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。现有方法如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 多由外部预设并行结构，未教会模型自适应行为。