JetBrains提出SWE-TaskFlow评测方法

JetBrains Research提出并发布SWE-TaskFlow，在保留SWE-Bench Pro的代码库、运行环境、测试和原始需求的同时，重组用户消息，使评测任务更接近软件工程师在IDE代理中的连续会话。该方法目前生成缺陷或功能请求及代码库问答两类消息，规划、代码审查、额外重构、执行和仅调试等流程尚未覆盖，且运行前消息已固定。 试点将700个任务分为单消息、拆分消息和Split+QA设置，四种模型各运行三次；拆分消息使单任务成本增加2.0至2.6倍，但解决率变化较小。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。