ezjev：训练并评测 Jev 风格带类型决策的 4B 概率模型

核心能力与快速开始

★ 1 · Python

能做什么

训练与评测 Jev 风格带类型决策模型：类型包括 choice / noul / score，并为每个选项给出概率。核心做法是以 Qwen/Qwen3.5-4B 为基座做 LoRA r=16 微调后合并为完整权重，采用 llm2jev 的聊天格式做一次 prefill，然后读取 Answer: 之后选项字母的 logprobs；损失为选项上的交叉熵加 Brier，训练后在 dev 上拟合一个全局温度。项目提供数据构建与去污染（parts/data_v2.py、parts/decontam.py）、弱项补强与分阶段训练（tools/make_stage2.py）、以及在 HF Jobs 与 Colab 上的训练/评测脚本，并包含 JevBench 自测。

适用场景

适合研究或复现小参数量（4B 级）决策模型的比例式概率输出与校准能力；可用于按 Jev 风格格式对选择类、评分类任务做微调与评测；也可用于对比不同数据版本（v1/v2/v3h）与分阶段训练带来的效果差异，或作为 Jev Decision Index、JevBench 等榜单的提交基线。

项目形态

研究实现

部署方式

README 提供了两条路径：推荐在 HF Jobs 上运行（需先 hf auth login 并使用写权限 token，并接受 HLE 数据集使用条款），另有 Colab notebook（notebooks/ezjev_train_colab.ipynb、notebooks/ezjev_eval_colab.ipynb，仅支持 v1 数据）。README 称 A100 训练约 3.5 小时、单次采样评测约 15 分钟、完整评测约 6–7 小时，并给出约 41 美元的总 HF Jobs 成本估算（属作者自述，未由本卡片验证）。

主要依赖

基座模型 Qwen/Qwen3.5-4B，采用 LoRA r=16（含 DeltaNet 线性注意力层）后合并权重。训练与评测在 HF Jobs 或 Colab 上运行，README 提到使用 A100 与 RTX PRO 6000。需要使用 llm2jev 的聊天格式。v2 数据需在 HF Jobs 上构建（需针对私有评测套件做去污染），Colab 路径只能使用 v1 数据。

使用限制

自测与榜单成绩（如 Decision Index 0.2.1 采样估计、ezjev-4b-s3 的 JevBench 公开项自测）由作者提供，未在本卡片中验证；JevBench 官方分数包含由维护者运行的封闭题项。公开基准上的部分收益未能迁移到私有同技能测试与新领域任务。训练数据许可不一：部分数据仅限非商业使用（如 ANLI 为 CC BY-NC 4.0），VAST、NLI4CT、ACOS、Humicroedit 声明无许可证，商用权重前需自行核查；MIT 仅覆盖代码，不覆盖训练数据与模型权重。不得在评测套件上训练或再分发评测数据。项目声明与 TypeSafe AI 无关联。

许可证

MIT

最近推送

2026-10-09 07:49

资料检查：2026-10-10 07:00 · 卡片整理：2026-10-10 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

用于训练、数据生成与评测带类型决策的概率模型：基于 Qwen/Qwen3.5-4B 做 LoRA 微调，支持 choice / noul / score 三类决策并为每个选项输出校准概率，包含训练、数据生成与评测流水线，可在 HF Jobs 或 Colab 上运行。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证