AI顶级编程智能体在私有代码库基准测试中失败率超60%
Y Combinator投资的Specific Labs推出新基准Real-SWE,将编程智能体投入真实企业的私有代码库进行测试。Claude Fable 5.1以38.8%的成功率领先,但整体失败率仍超60%;单任务成功率更低,六项任务不足15%,有一项在64次尝试中无人解决。
评论 · 分享第一个看法
AI 资源库 · 已整理 1 项
查看与排行榜相关的 AI 资讯、工具、Skill、工作流和开源项目。
Y Combinator投资的Specific Labs推出新基准Real-SWE,将编程智能体投入真实企业的私有代码库进行测试。Claude Fable 5.1以38.8%的成功率领先,但整体失败率仍超60%;单任务成功率更低,六项任务不足15%,有一项在64次尝试中无人解决。