preference-data

ai-data-evaluation：基于评分量规的 LLM 输出评测与偏好数据流水线

LacerdaTraderCode/ai-data-evaluation · Evaluation pipeline for LLM outputs: an anchored rubric, a hand-labeled golden set, an LLM judge checked for agreement against it, and preference data generation for fine-tuning.

该项目提供一条面向 LLM 输出的完整评测流水线：手写标注的黄金集（golden set）、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验，以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度，量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度，每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。