引证分析

AusLawExam-Bench：面向大语言模型的澳大利亚法律推理可复现评测基准

Danielkgr/auslawexam-bench · A public, reproducible benchmark of Australian legal reasoning for LLMs

AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。