AI 资源库 · 已整理 1 项

性能测试

查看与性能测试相关的 AI 资讯、工具、Skill、工作流和开源项目。

GPT-6.1 Sol 对比 GPT-6 Astra:准确率相同,成本仅为其 18%

OpenAI 在 9 月 29 日发布了 GPT-6.1 Sol,距离 GPT-6 Sol 发布仅一周。它被定位为 GPT-6 的升级版,同时也是 GPT-6 Astra 更便宜的“近似替代品”。作者通过 OpenAI 的 Responses API 用同一套三项测试对两者进行了对比:CI 故障分诊、故障日志分析和依赖解析器编写。15 次运行中两者全部满分通过,但 GPT-6.1 Sol 总共花费 2.66 美元,而 Astra 为 14.77 美元,前者只需后者约 18% 的成本,并且在两项较长的测试中更快。作者的结论是,在这类工作上,GPT-6.1 Sol 已经够用,没有理由为 Astra 多付钱。

文中可用工具

  • GPT-6.1 SolOpenAI 发布的较便宜模型,用于代理式编程、计算机操作和专业工作,成本约为 Astra 的五分之一。
  • GPT-6 AstraOpenAI 的高价旗舰模型,价格更高但据称在代理式编程等任务上更强。
  • OpenAI Responses API作者调用两个模型进行对比测试的接口。
☆ 收藏查看来源 ↗