AI 资源库 · 已整理 3 项
查看与hallucination-detection相关的 AI 资讯、工具、Skill、工作流和开源项目。
vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.
fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。
byshivam/banking-rag-eval · Evaluation suite for a banking RAG assistant — faithfulness, hallucination & relevance scoring with CI regression gates (DeepEval · RAGAS · pytest)
该项目围绕银行政策文档构建一个 RAG 助手，并提供配套的评测套件，用于判断助手能否安全上线。评测覆盖事实准确率、对来源文档的忠实度（幻觉检测）、越界问题的正确拒答、误拒率、引用有效性、安全性（投资建议、OTP 共享、提示注入）、检索命中率与上下文精确率/召回率、答案相关性等指标，并与已批准的基线对比，在 CI 中自动给出有证据支撑的 GO / NO-GO 发布决策。评测分为两层：无需 API Key 的确定性检查，以及由 DeepEval + 大模型裁判完成的 faithfulness、answer relevancy 等打分。知识库为虚构的印度 Arya Bank 五份政策文档，黄金数据集含 24 条手工编写用例。
JamesLeeCY/paper-rag-copilot · A strictly citation-grounded RAG assistant for academic literature libraries, featuring quantifiable hallucination evaluation for trustworthy research assistance.
该项目是一个基于检索增强生成（RAG）的学术文献问答助手，面向博士论文或小型期刊论文 PDF 库，强调答案必须严格引用原文（可追溯到章节、段落范围和页码）。系统采用混合检索（稠密向量加 BM25，RRF 融合）、可选的 cross-encoder 重排，以及逐条声明的分层验证级联（逐字引用校验、多模型评审团、NLI/词面回退、规则检查）。项目还附带量化评测工具，用已知答案集衡量生成器的幻觉率，并验证评审模型本身的可信度（假接受/假拒绝率），统计上输出 Wilson 置信区间。README 也如实披露了已知局限与大量小样本评测细节。