评测与安全工作流
ai-data-evaluation：基于评分量规的 LLM 输出评测与偏好数据流水线
LacerdaTraderCode/ai-data-evaluation · Evaluation pipeline for LLM outputs: an anchored rubric, a hand-labeled golden set, an LLM judge checked for agreement against it, and preference data generation for fine-tuning.
ELI5：它是什么，解决什么问题
该项目提供一条面向 LLM 输出的完整评测流水线：手写标注的黄金集（golden set）、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验，以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度，量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度，每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 包含五个组件：evaluation/rubric.py 定义四项标准（事实准确性、覆盖度、简洁性、格式遵循），每项 0–2 分并附逐级文字说明，不使用无锚点的 1–5 分制；evaluation/golden_set.py 提供 6 个人工打分样例（2 篇源文档、每篇 3 个候选摘要，质量差异刻意设计，如含幻觉断言、遗漏要点）；evaluation/llm_judge.py 调用 Claude 按同一量规对候选打分；evaluation/agreement.py 对比 judge 与人工标注，输出逐项完全一致率、平均绝对差和全部分歧列表；evaluation/preference_data.py 对同源同格式样例按总分排序，输出相邻配对记录 {prompt, chosen, rejected, winning_criterion, score_gap}，适配 DPO 类偏好微调数据集格式。提供端到端脚本 scripts.run_evaluation，以及覆盖量规内部一致性、黄金集完整性、judge 提示构造与响应解析（mock，无需 API key）、一致性计算、偏好对生成（含并列时不生成配对）的 pytest 测试。
- 适用场景
- 为 LLM 输出评测建立可复现流程：先以手写评分锚点定义评判标准，再用黄金集校准自动 judge 的可靠性，最后把评分结果转成偏好微调数据。示例任务虽固定为按指定长度摘要短文档，但项目说明指出该流水线可推广到任何能用书面标准评判 LLM 输出的任务。适用于需要在训练/微调前评估模型输出质量、或在 DPO 式偏好数据构造阶段生成 chosen/rejected 配对的场景。
- 项目形态
- 开发框架
- 部署方式
- 需自行配置 Python 虚拟环境并通过 requirements.txt 安装依赖；运行完整流水线需设置 ANTHROPIC_API_KEY 环境变量以调用 Claude。其他部署条件、API 成本与额度限制未说明。
- 主要依赖
- Python 环境；运行评测流程需 Anthropic API key（示例命令为 export ANTHROPIC_API_KEY=...）；开发依赖通过 requirements-dev.txt 安装。测试阶段对 judge 使用 mock，无需 API key。硬件与模型版本要求未说明。
- 使用限制
- 示例任务为单一固定任务（短文档摘要到指定长度），黄金集仅 6 个样例，规模较小；judge 依赖外部 Claude API，其成本、速率与可用性未说明；LLM judge 在未完成黄金集一致性校验前不应被信任，项目本身也强调这一点；未说明对非摘要类任务的现成适配情况。
- 许可证
- MIT
- 最近推送
- 2026-10-13 08:45
资料检查：2026-10-14 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为程序员，可用该仓库的评测流水线对 LLM 输出进行基于评分量规的自动评测：使用手写黄金集、带锚点的多维度量规和 LLM judge 打分，并通过一致性校验比较 judge 与人工标注，最后将分数转换为 DPO 风格偏好数据用于微调。
查看内容依据
A complete evaluation pipeline for LLM outputs: a hand-labeled golden set, an anchored multi-criteria rubric, an LLM judge that applies it automatically, an agreement check between the two, and a converter that turns the scores into preference data shaped for a fine-tuning job.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。