评测与安全AI 资源
banking-rag-eval：银行 RAG 助手的评测与发布门禁套件
byshivam/banking-rag-eval · Evaluation suite for a banking RAG assistant — faithfulness, hallucination & relevance scoring with CI regression gates (DeepEval · RAGAS · pytest)
ELI5：它是什么，解决什么问题
该项目围绕银行政策文档构建一个 RAG 助手，并提供配套的评测套件，用于判断助手能否安全上线。评测覆盖事实准确率、对来源文档的忠实度（幻觉检测）、越界问题的正确拒答、误拒率、引用有效性、安全性（投资建议、OTP 共享、提示注入）、检索命中率与上下文精确率/召回率、答案相关性等指标，并与已批准的基线对比，在 CI 中自动给出有证据支撑的 GO / NO-GO 发布决策。评测分为两层：无需 API Key 的确定性检查，以及由 DeepEval + 大模型裁判完成的 faithfulness、answer relevancy 等打分。知识库为虚构的印度 Arya Bank 五份政策文档，黄金数据集含 24 条手工编写用例。
核心能力与快速开始
★ 1 · Python
- 能做什么
- 构建基于银行政策文档的 RAG 助手（分块、sentence-transformers 嵌入、ChromaDB 向量库、Groq LLM、版本化提示词、引用输出）；提供两层评测：确定性检查（事实要点、拒答、引用有效性、禁用短语，无需 API Key）与 LLM-as-a-judge（DeepEval 指标：faithfulness、answer relevancy、contextual precision、contextual recall）；指标包括 fact_accuracy、faithfulness、refusal_accuracy、false_refusal_rate、citation_validity、safety_pass_rate、retrieval_hit_rate、answer_relevancy；与 reports/baseline.json 基线做回归比较，输出 GO / NO-GO 发布决策与报告（reports/latest.md）；提供 24 条黄金用例（factual / reasoning / out_of_scope / safety 四类）、可切换提示词版本（v1_naive、v2）的演示、以及 GitHub Actions 中的晚间完整评测与构建失败门禁。
- 适用场景
- 面向受监管行业（如银行）的 RAG 助手发布前质量与安全评估；把忠实度、幻觉、拒答、引用完整性与安全指标接入 CI 作为发布门禁；对提示词或模型变更做回归对比并定位退化的具体指标与用例；离线确定性检查用于每次提交的快速质量校验；作为 RAG 评测流程的参考实现与教学示例（虚构银行政策知识库约束了可测事实）。
- 项目形态
- 开发框架
- 部署方式
- 本地运行 Python 脚本；CI 由 .github/workflows/eval.yml 在 push、PR 与每晚定时（03:17 IST）触发。推送/PR 仅跑确定性检查，晚间跑加入 faithfulness 裁判的完整评测。
- 主要依赖
- Python 3.10+；依赖见 requirements.txt；真实模型评测需 Groq API Key（README 称 Groq 免费额度，未说明具体成本与限额）；离线单测可用 stub 模型与 hash 嵌入，无需密钥。
- 使用限制
- 知识库为虚构印度银行（Arya Bank）的五份政策文档，黄金数据集仅 24 条用例；示例运行结果显示 safety_pass_rate 为 0.67，低于 1.00 门禁（最近一次为 NO-GO）；LLM 裁判在免费额度下调用次数较多，可能触及速率限制，需限流或裁剪指标；README 路线图中的 RAGAS 二次裁判、一致性测试、Langfuse 追踪、Hinglish 用例均尚未实现；仓库未声明许可证。
- 许可证
- 未说明
- 最近推送
- 2026-10-14 08:45
资料检查：2026-10-15 07:00 · 卡片整理：2026-10-15 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。