Judge Enumeration Exhibit:预注册的概率化评判器稳定性与判别力实验展示
clouatre-labs/judge-enumeration-exhibit · Pre-registered typed probabilistic judge exhibit: stability (v1) and discrimination (v2) phases on frozen LP menus; sealed analysis, reproducible
该项目是一个预注册的 LLM 评判实验展示,包含两个阶段:v1.0.0 稳定性阶段在 60 次调用中考察同一状态下的运行间稳定性;v2.0.0 判别力阶段在 120 道冻结的 3 变量整数线性规划题上进行两次评测,并运行 240 次调用,要求评判器从近优选项和不可行选项等 5 个选项中选出最优解。仓库提供种子生成器、冻结题库、原始请求与响应记录、用精确分数算术进行封闭分析、分层校准的事后补充分析、图表脚本和复现命令,并以 Apache-2.0 许可公开全部数据。