模型评估

评估整个推理栈，而不仅仅是开放模型基准

Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 接受 The New Stack 采访，指出公开基准只能说明开放模型在理想条件下的最好表现，无法保证生产环境里反复执行任务时的准确率。他建议工程师把行业基准与企业内部基准、智能体工作流轨迹结合起来衡量，并关注整个推理栈：缓存命中率、批处理、量化、内核优化、吞吐与交互性的平衡，以及 P95/P99 尾延迟。对成本敏感的场景可先评估 Kimi、DeepSeek 及“flash”类较轻模型；对精度要求高的场景则筛选两三个大模型后做微调。他还举例说，Nebius 用 6000 条轨迹微调一个小模型，准确率提升 11%，工具调用减少 22%。目前这些是 Nebius 与客户合作中的实践和主张，文章未说明具体产品版本或公开可用状态。

Ship Sense：按产品判断力对前沿大模型排名的评测基准

dkships/ship-sense · Ranks frontier LLMs on product judgment: what to refuse to build, what the data can't say, when to hold a call.

Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。评分采用确定性的关键词匹配而非 LLM 评委，并给出对抗性策略与随机策略的可利用性下限；仓库还维护模型排行榜、代际对比与得分历史。

rag-eval-toolkit：评估 RAG 管线的 Python 工具包

Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit

rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。

AI4Fire：评测语言模型与智能体在野火任务中的表现

yzhao062/AI4Fire · Five wildfire tasks for language models and agents, each run bare and grounded and scored beside a non-LLM comparator. 77,644 stored responses; every paper table reproduces offline.

AI4Fire 是一个面向野火任务的 LLM 与智能体评测基准，包含每日人员调配、野火烟雾检测、火险预报、温度相关航拍问答、火灾数据工具调用五个任务，覆盖 12 家厂商的 35 个模型。每个任务同时以裸提示与带 grounding 两种方式运行，并与非 LLM 对照基线比较，仓库内保存 77,644 条已评分响应，可离线一条命令复现论文全部主表，无需 API 凭据。

llm-syllogism：用 11000 条 WordNet 三段论评测大模型逻辑推理偏差

limengge426/llm-syllogism · AAAI 2026 Bridge · Do LLMs reason or pattern-match? 11,000 WordNet syllogisms across all 44 forms reveal shared biases in GPT-4o, Gemini, LLaMA, Qwen and DeepSeek.

该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。

Claude Opus 5.5 与 Opus 5 推理任务对比：更便宜、更快，但并未更强

Anthropic 本周发布 Claude Opus 5.5，宣称比 Opus 5 便宜 40%、输出快 30%，且推理能力达到 Claude Fable 5.1 的水平。有人用三道推理题实测两款模型：两者正确率完全相同（逻辑网格和取石子游戏都做对，排序题都做不出），但 Opus 5.5 每题都更省更快。例如逻辑网格便宜 43%、取石子游戏便宜 69%，整体速度只快约 11%，未达到宣称的 30%。这说明省钱主要来自输出 token 更少（约 25%）和 API 降价 20%，而非能力提升。若你已用 Opus 5，换到 5.5 能拿到同样答案、更低成本。

τ-Rec：面向智能体对话式推荐系统的可验证基准

nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)

τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。

llm-bench：并发压测 LLM API 并对比延迟、吞吐与成本

Mattbusel/llm-bench · CLI that benchmarks LLM APIs: run your prompts concurrently against OpenAI and Anthropic models and compare p50/p99 latency, tokens per second, cost and success rate as a table or JSON.

llm-bench 是一个用 Rust 编写的命令行工具，把同一批提示词并发发送给多个模型（OpenAI、Anthropic，以及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），并以表格或 JSON 输出 p50/p99 延迟、每秒 token 数、单次与总成本、成功率等指标，帮助使用者在真实网络和自己提示词条件下比较不同模型的快慢与费用。内置价格表可用 llm-bench models 查看，非流式请求且不单独测量首 token 时间。