IBM 对比 CUGA、Hermes 与 Deep Agents 的任务通过率

IBM 团队用同一开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比 CUGA、Hermes 和 Deep Agents，任务通过率分别为 81.1%、46.7% 和 30.0%。该团队称，换用不同的 harness（智能体运行框架）后，任务完成率从 30% 升到 81%。 这一结果有明确限制：它只基于单一基准上的 90 个任务样本，未必能推广到其他任务；三套框架的配置并不相同，CUGA 使用了其他框架没有的 AppWorld 配置；这些运行未启用策略，因此不衡量策略执行。该对比由 CUGA 团队自行开展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。