JetBrains Blog· Igor Slinko·· 4 小时前精选AI 评分71
JetBrains Research提出SWE-TaskFlow,将SWE-Bench Pro任务流对齐真实开发者会话
Coding-Agent Benchmarks Should Match Their Users’ Task Flows
AI 导读
JetBrains Research分析4,782个软件工程师在JetBrains IDE中的代理会话,发现修复缺陷和新增功能之外的任务占比较高,并提出SWE-TaskFlow,将SWE-Bench Pro的问题拆分为连续请求并加入代码库问答。试点把700个任务组织成单消息、拆分消息和Split+QA三种设置,四种模型各运行三次;拆分消息使每个任务成本增加2.0–2.6倍,但解决率变化较小。
推荐理由
文章提供基于真实IDE会话与公开基准的对照分析,并给出可复用的任务流改造方法、数据集和初步实验结果,有助于选择代理评测场景、理解成本变化及设计交互式基准。
来源:JetBrains Blog · blog.jetbrains.com