智能免费之后怎么办?面向智能体、由智能体构建的数据系统
伯克利 EPIC Data Lab 提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1、部分低于 $0.10,中位年降幅约 50x,数据系统需围绕智能体重构。作者提出三个方向:为智能体设计的数据系统、支撑智能体集群的数据系统、由智能体合成的数据系统。在 text-to-SQL 基准中多智能体尝试下仅 10-20% 子计划不同,80-90% 子查询存在重复计算。
伯克利 EPIC Data Lab 提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1、部分低于 $0.10,中位年降幅约 50x,数据系统需围绕智能体重构。作者提出三个方向:为智能体设计的数据系统、支撑智能体集群的数据系统、由智能体合成的数据系统。在 text-to-SQL 基准中多智能体尝试下仅 10-20% 子计划不同,80-90% 子查询存在重复计算。
伯克利 AI 研究团队综述并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如自一致性、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,未教会模型自适应行为。