基准测试

GPT-6.1 Terra 对比 GPT-6 Astra：高推理强度下，一个以准确率换低成本与高速度

OpenAI 在 10 月 26 日发布了 GPT-6.1 Terra，把它定位成便宜、快速、适合大量日常任务的模型，价格只有旗舰 GPT-6 Astra 的十分之一：输入每百万 token 1 美元、输出 5 美元，而 Astra 是 10 美元和 50 美元。作者用三项自己造的测试对比两者：SQL 推理、数据校验和故障日志排查，推理强度都设为 high。结果是 Astra 更准，例如 SQL 测试 48/50 对 26/50，数据校验 50 对 45；Terra 更快更便宜，SQL 测试约 0.08 美元、133 秒，Astra 约 1.65 美元、320 秒。作者指出，Terra 会把需要累加的任务交回给用户自己跑查询，还会自信地给出错误计数，使用时需要挑选场景。这些只是单次合成测试结果，文章没有说明正式可用范围等更多信息。

DeepSeek V4.1-Flash-1017 对比 Claude Haiku 5.5：价格更低、准确率更高

作者在 10 月 17 日 DeepSeek 发布 V4.1-Flash-1017 后，拿它和 10 月 7 日 Anthropic 推出的 Claude Haiku 5.5 做了三轮实测：修 bug、写数据库查询、给 400 条报错分类。两家官方基准分（DeepSeek 42.3、Haiku 39.2）并非同场对测，作者想自己验证。结果两种模型准确率很接近，DeepSeek 在修 bug 和分类上略胜，查询打平；在所用设置下 DeepSeek 总花费约 0.07 美元，Haiku 约 0.30 美元，差距主要来自一个超长提示词把 Haiku 推到了更高价位；Haiku 在两次工具类任务里更快。注意：文章只跑了各一次，价格受分词、缓存和接入渠道影响，Haiku 的提示缓存默认关，开启后成本对比可能变化；两者都是厂商自报成绩。

OpenAI 的 COBOL 迁移评分出现惊人跃升

OpenAI 本周公布了两项基准测试结果。在自家的 COBOL 迁移测试中，新模型 GPT-6.1 Sol 在低推理强度下准确率达到 86.6%，而上一代 GPT-5.6 Sol 只有 5.4%，成本还低了 39%；提高推理强度后准确率可达 97.9%。COBOL 是支撑大量银行和 ATM 系统的老旧编程语言，长期缺少代码和文档，AI 很难学好，所以这次进步幅度显得很大。另一项叫 MultiLangBench 的测试在 GitHub 上公开了，考察模型用 20 种语言从零搭建一个兼容 SQLite 的数据库引擎，旗舰模型 GPT-6 Astra 平均通过率 87.4%，上一代仅 26.8%。但要注意：COBOL 测试的题目和数据集没有公开，外部开发者无法独立验证，OpenAI 也承认迁移到生产系统仍需专家审查。

agentic-evalkit：面向 AI Agent 的可重复评测与校准评审工具

tafreeman/agentic-evalkit · Evaluate AI agents with repeatable tests, calibrated judge evidence, and reviewable reports.

agentic-evalkit 是一个 Python 评测工具包，用于对 AI Agent 的输出按自定义检查项打分，并生成可复核的评分证据报告。它支持命令行和 Python API，可评测 Python 代码、命令行程序和 HTTP 服务，且不绑定特定 AI 框架。评测先执行客观检查，再可选进行模型评判；内置参考评判器对相同输入返回相同结论，且仅作建议，不能批准发布。项目还提供针对 SWE-bench 的 Docker harness、Claude Agent SDK 目标，以及 MLflow 和 Langfuse 的校准门控集成等可选扩展。

Copilot 在 GitHub 自家 AI 代码审查基准测试中登顶，但独立测试结果却另有说法

GitHub 和微软一起做了一个叫 ReviewBench 的测试，用来比一比各家 AI 代码审查工具谁更会挑毛病。测试方法是从 GitHub 上真实代码改动的记录里提炼出“应该被发现的”问题，再看各家工具能找出多少。结果 GitHub 自家的 Copilot 排第一，但因为测试是 GitHub 自己做的，而且不同工具测试时间差了好几个月，所以这个成绩要打个折扣。在另一家独立机构 Martian 做的测试里，Copilot 只排第四或第五，冠军分别是 Cubic 和 Qodo Deep。这说明同一款产品在不同测试里名次差别很大，结论不能只看一家。

JevBench：面向 Jev 类类型化决策模型的基准评测

fstandhartinger/jevbench · JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.

JevBench 是 Benchmark Heaven 自研的基准测试，用于评测 Jev 类决策模型：给模型一段状态和一个有界评分规则，要求它返回结构化选项答案并尽量给出每个选项的概率，不需要散文式输出或解析。评分由 Intelligence（机会校正后的准确率）、Calibration、Speed、Cost 四个等权轴合成 JevBench Score，并按版本迭代维护公开排行榜。仓库提供冻结的评分方法文档、聚合结果 JSON、部分公开数据集与各系统适配器代码，并区分公开题与私有留存题。

Gemini 4 Argon 发布：表现出色，但暂时还无法使用

谷歌发布了新旗舰模型 Gemini 4 Argon，它在大多数测试中超过 OpenAI 和 Anthropic 的顶级模型，尤其在办公知识类任务上优势明显，比如法律智能体测试得分接近对手三倍。但它的编程能力表现一般，部分编程基准甚至落后对手约 10 分。目前该模型只向 Fairwind 计划参与者和谷歌内部开放，尚未对外发布；之后会先开放给付费 API 客户和 AI Ultra 订阅用户。它还支持最高 100 万输出 token，是此前 Gemini 模型的约 15 倍。

model-drift：面向多厂商 LLM 的公开回归追踪与漂移监控面板

egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.

model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。

Inference Systems Lab：LLM 推理服务基准测量与证据复现工具包

stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.

该项目是一个服务测量工具包，起源于推测解码速度实验，包含标准库 Python 客户端，用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标，并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验（单张 RTX 4090 上 1536 次 vLLM 请求）的原始轨迹、结果表与对比数据，以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置，不构成通用最快服务栈的选型依据，也未声称无损加速或输出质量提升。

prism-bench：文本到图像推理数据集与基准评测资源

ada994/prism-bench · 🌐 Benchmark models using the PRISM framework and access the FLUX-Reason-6M dataset for improved AI performance evaluation.

prism-bench 是论文《FLUX-Reason-6M & PRISM-Bench: A Million-Scale Text-to-Image Reasoning Dataset and Comprehensive Benchmark》的官方资源仓库，提供百万级文本到图像推理数据集 FLUX-Reason-6M 和 PRISM 基准评测工具，用于评估和改进 AI 的文本到图像推理性能。README 主要描述如何从发布页下载运行应用，并列出数据集访问与基准分析等特性。

Harness 如何编排 LLM 安全扫描

传统代码扫描器只能靠规则匹配找已知模式，而大语言模型能顺着程序逻辑追踪攻击者可控的输入是否真的能到达危险位置，因此能发现规则没覆盖的漏洞。但模型本身不稳定：同一份没变的代码扫两次，结果可能不同，耗时和花费也难预测，没法直接用在每次提交都跑的自动化扫描上。Harness 的 Security Test Orchestration（STO）在模型外面加了一层编排：控制扫描什么时候触发、只扫改动范围、每步怎么约束、结果怎么统一，变成可比较、可信任的扫描。用 GPT-5.5 对三个故意留漏洞的测试应用跑基准，增量扫描比全量扫描最高省约 83% 费用、快约 72%，且没有漏掉全量扫描找到的问题；连续跑 10 次时增量方案比全量便宜约 75%。目前该能力基于 OpenAI Codex Security，配合 Mythos 代理插件，以安全扫描技能方式调用，具体开放范围和价格原文未说明。

推出 MentalHealthBench

有人发布了一个叫 MentalHealthBench 的测试基准，用来评估 AI 在真实心理健康对话中回答得是否有帮助、是否安全。此前缺少专门针对这类敏感场景的评测标准，很难判断 AI 的建议靠不靠谱或会不会造成伤害。这次的做法是请专家参与设计评测内容，让测试更贴近现实对话。读者由此可以知道，未来比较 AI 在心理健康领域的表现时，多了一个可参考的专门标准。不过材料没有说明具体由谁发布、包含多少题目、是否已经开放使用。