AusLawExam-Bench：面向大语言模型的澳大利亚法律推理可复现评测基准

Danielkgr/auslawexam-bench · A public, reproducible benchmark of Australian legal reasoning for LLMs

GitHub原文发布未知首次收录 2026-10-22上架 2026-10-22 07:01

ELI5：它是什么，解决什么问题

AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。

# 幻觉检测 # 评测基准 # LLM 评估 # 引证分析 # 法律 AI

核心能力与快速开始

★ 0 · Python

能做什么: 提供针对澳大利亚法律考试式问题的 LLM 评测流水线：统一版本化提示词、多模型槽位运行、引证抽取与分类（切题/其他已知/无法确认）、基于评分细则的自动打分、bootstrap 置信区间与置换检验、静态排行榜渲染，以及基于内容哈希、追加式记录和污染金丝雀的可复现与可审计机制；无 API 密钥时可离线跑确定性模拟流程。
适用场景: 适合研究者和开发者评估大语言模型在法律问答中的引证可靠性，尤其关注模型能否避免编造判例和法条引用；可用于对比不同模型在相同题目与提示下的表现、复现已发布的运行结果、审计引证分类与评分，以及作为扩充题库后的基准原型。
项目形态: 开发框架
部署方式: 本地 Python 环境安装并运行命令行工具；商业模型槽位需相应 API 密钥，本地槽位需自建 OpenAI 兼容端点；无密钥可用模拟模式离线运行。
主要依赖: Python 3 环境并通过 pip 安装；本地槽位需自行提供 llama.cpp 等 OpenAI 兼容服务；已报告本地运行为约 35.5B 参数 GGUF 模型、上下文窗口 131072；商业 API 调用产生费用，Claude 实际运行 48 次调用花费 7.67 美元，成本估算不含思考 token，其他模型价格未说明。
使用限制: 仍是评测原型且不提供法律意见；16 道题均为未经澳大利亚执业律师审核的暂定稿，标准答案与必引权威可能出错；已知引证语料仅 48 条，无法确认的引证被归为 fabricated，故虚假引证率只是上界，真实值未经核验；引证抽取会漏掉缩写与部分法条形式；已报告的真实运行仅覆盖本地槽位与 Claude 槽位，两者题集与条件不同不可直接比较；模拟运行数字全为合成数据；未说明许可证虽有徽章显示 Apache-2.0 代码与 CC BY 4.0 数据但仓库元数据为 NOASSERTION。
许可证: NOASSERTION
最近推送: 2026-10-21 08:53

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-22 07:00 · 卡片整理：2026-10-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

claude-scientific-eval：面向转化癌症生物学任务的 Claude 模型科研能力评测

该项目是一个小型、盲评的试点评测，包含 6 个来自前列腺癌实验与转化研究的任务，用来考察 Claude 系列模型能否给出可支撑真实实验决策的输出。评测覆盖证据支撑、机制/因果推理、靶点优先级、实验设计、闭环决策与定量检测设计，采用 1–5 分六维评分、15 类预定义失败码，并记录拒答情况；作者强调其结果仅适用于这一狭窄任务切片，不能外推到整体科学推理能力。

llm-agent-experiments：多智能体流水线中开源权重模型的角色级替换评测

该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。

MultiLangBench：多语言语言模型 SQLite 实现能力评测基准

MultiLangBench 是 OpenAI 发布的评测项目，要求语言模型依据 SQLite 3.40.1 文档，用指定编程语言实现一个 SQLite 兼容程序，并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成，评分以（API 成本、测试通过率）二元组表示；完整测试共 24k 条，README 建议先运行以 00、01、02 开头的 272 条测试。

sparebrAIns：用免费闲置算力与 Lean 4 内核验证进行机器可核验数学证明的开放协作平台

sparebrAIns 是一个开放协作项目，把免费层 LLM 和免费 GPU 算力指向用 Lean 4 形式化的数学问题，由 Lean 4 内核作为机器裁判判定每个提交的证明是否成立。项目维护 378 道 Lean 4 形式化题目（来自 Natural Number Game、Mathematics in Lean、miniF2F 等），通过模型跑道、中继接力、证明修复循环（修复形式、挖洞、Lean 自动化、子目标拆分）和志愿者 Agent 提交等机制求解，并把每次尝试、被拒尝试与最终通过证明一并公开记录。README 报告其修复工具能把免费模型的通过率从 44.8% 提升到 56.1%，最小模型提升最大。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。