AusLawExam-Bench:面向大语言模型的澳大利亚法律推理可复现评测基准
Danielkgr/auslawexam-bench · A public, reproducible benchmark of Australian legal reasoning for LLMs
AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题,抽取答案中的引证并与已知判例、法条语料比对,将引证分为切题、其他真实引证、无法确认三类,再按评分细则打分,并输出自助法置信区间与置换检验,生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程,强调可复现与可审计,但现仅有 16 道未经澳大利亚执业律师审核的暂定题目,已报告结果仅覆盖部分模型槽位,题目数量扩充中,不提供法律意见。
展开详情收起详情:AusLawExam-Bench:面向大语言模型的澳大利亚法律推理可复现评测基准
评论 · 分享第一个看法