复旦等机构推出LoLBench评测Agent长程代码能力

复旦大学、香港城市大学、香港中文大学等机构提出长程代码任务评测基准 LoLBench，从社区功能提案和已合并 PR 中选取 100 项任务，让 Agent 在平均约 240 万行源代码的系统中完成从需求到模块交付的全过程。 评测中 Agent 只拿到提案和实现前的代码仓，提案平均约 5000 个英文单词；评测在断网 Docker 环境中进行，以防 Agent 检索上游实现。研究团队测试了 6 个前沿模型与 5 个脚手架组成的 28 个可用组合，单任务限时 6 小时，最高解决率为 14%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。