AI 资源库 · 已整理 3 项
查看与幻觉检测相关的 AI 资讯、工具、Skill、工作流和开源项目。
Danielkgr/auslawexam-bench · A public, reproducible benchmark of Australian legal reasoning for LLMs
AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。
Yacine-ai-tech/RAGeval · Drop-in LLMOps evaluation & observability library — multi-judge consensus with disagreement alarm, 5 composite metric scorers, bootstrap confidence intervals, and OpenTelemetry tracing. PyPI: omnismart-rageval.
RAGeval 是一个自托管的 LLMOps 评测与可观测性库，面向 RAG 管线。它提供多评委共识评分与分歧告警、检索相关性、忠实度、成本与时延等指标，并支持 FastAPI、LangChain 等框架的装饰器方式接入。项目包含仪表盘用于查看实时共识遥测、查询日志、成本报告和告警。
egnaro9/rag-eval-lab · RAG pipeline with no third-party dependencies and a deterministic eval harness that catches hallucinations (precision@k, recall@k, citation, faithfulness), proven in CI. Optional OpenAI + pgvector backends.
一个纯 Python 标准库实现的 RAG 参考项目，覆盖 ingest→chunk→embed→store→retrieve→answer 全流程，并配有确定性评测框架（precision@k、recall@k、citation、faithfulness）。其核心价值在于用闭式指标（非 LLM 评判）检测幻觉：预埋的幻觉样例会被 faithfulness 指标标记，并由 CI 持续验证。支持 bm25、hybrid、reranker 等可插拔检索策略，并在 SciFact 基准上给出实测对比；可选接入 OpenAI 嵌入/回答与 Postgres+pgvector 存储后端。