GPT-6 Sol 对决 Claude Opus 5.5:当结果不稳定时,便宜还重要吗?
这件事讲了什么
OpenAI 在 9 月 22 日发布 GPT-6 Sol,宣称它在业务工作流任务上得分高于 Claude Opus 5,而每任务成本只有后者的 9%。但 Anthropic 同一天发布了 Opus 5.5,于是作者拿新模型重新测试。基础开发任务上两者打平,作者便改成每项测试跑 5 次,看结果是否稳定。结果 Opus 5.5 在 15 次运行中全部满分,Sol 只有 12 次满分,在日志分析和依赖解析器两项较难任务上出现漏算客户、少数一次结账数或括号错误导致导入崩溃等问题。Sol 每次测试都更快、更便宜,15 次总花费 2.68 美元,约为 Opus 5.5 的 16.72 美元的六分之一,但作者建议只在有人或测试套件把关的高频场景使用它,比如分流、起草和跑 CI 的代码。
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。