评测与安全AI 资源
JevBench：面向 Jev 类类型化决策模型的基准评测
fstandhartinger/jevbench · JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.
ELI5：它是什么，解决什么问题
JevBench 是 Benchmark Heaven 自研的基准测试，用于评测 Jev 类决策模型：给模型一段状态和一个有界评分规则，要求它返回结构化选项答案并尽量给出每个选项的概率，不需要散文式输出或解析。评分由 Intelligence（机会校正后的准确率）、Calibration、Speed、Cost 四个等权轴合成 JevBench Score，并按版本迭代维护公开排行榜。仓库提供冻结的评分方法文档、聚合结果 JSON、部分公开数据集与各系统适配器代码，并区分公开题与私有留存题。
核心能力与快速开始
★ 200 · Python
- 能做什么
- 提供 Jev 类类型化决策模型的基准评测：给定状态与有界评分规则，模型需返回结构化答案（不产生散文），并鼓励为每个选项给出概率。评分包含 Intelligence（机会校正准确率，分 tier 加权）、Calibration（ECE 与对精确黄金分布的贴合度）、Speed（p50/p95 延迟分，按对数衰减）与 Cost（每 1000 次决策的美元成本，按对数衰减）四个轴，v1.2 起用等权几何平均合成 JevBench Score，v1.4.2.1 起改用 20% 新封存决策 + 80% v1.3.0 Intelligence 的混合与等权调和平均。仓库包含冻结的评分方法文档、各版本发布说明、聚合结果 JSON、部分公开题目数据集（如 datasets/public/hard.jsonl）、题目主题聚合文件、适配器代码与图表/最终化脚本，并在主页维护实时排行榜。
- 适用场景
- 适合需要横向比较 Jev 类结构化决策模型（准确率、校准度、延迟、每次决策成本）的研究者或工程团队；可用于查看各系统在 Intelligence、Calibration、Speed、Cost 四个轴上的表现并按轴排序，也可参考公开题集与已披露的映射方法，或借助第三方 shadow-proxy 工具导入公开 hard 题以比较本地决策模型。
- 项目形态
- 资料合集
- 部署方式
- 未说明。仓库为 Python 项目并以 MIT 许可开源，但评测所涉各系统的运行/托管方式、是否可自托管等未在材料中说明。
- 主要依赖
- 未说明。材料仅提及部分系统使用自有 CPU（4 线程）运行、部分通过生产 API 运行，以及一行在单张 RTX 3090 上以 BF16 运行，未给出运行 JevBench 本身的通用硬件或环境要求。
- 使用限制
- 排名仅发布聚合的封存统计，公开一半题目可被训练或选择，因此私有留存部分需要随领域变化而演进；自托管与演示端点的延迟会做 ×2、+0.15 秒的调整，这是假设而非实测；Cost 列是每 1000 次决策的美元估算，是模型价格估算而非 GPU 账单；运行另一参赛模型的服务仅列出而不参与排名；小模型对选项顺序敏感（材料举例同一模型在正序与反序下得分 21% 与 72%）。
- 许可证
- MIT
- 最近推送
- 2026-09-29 19:25
资料检查：2026-10-03 07:00 · 卡片整理：2026-10-03 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。