deepeval

banking-rag-eval：银行 RAG 助手的评测与发布门禁套件

byshivam/banking-rag-eval · Evaluation suite for a banking RAG assistant — faithfulness, hallucination & relevance scoring with CI regression gates (DeepEval · RAGAS · pytest)

该项目围绕银行政策文档构建一个 RAG 助手，并提供配套的评测套件，用于判断助手能否安全上线。评测覆盖事实准确率、对来源文档的忠实度（幻觉检测）、越界问题的正确拒答、误拒率、引用有效性、安全性（投资建议、OTP 共享、提示注入）、检索命中率与上下文精确率/召回率、答案相关性等指标，并与已批准的基线对比，在 CI 中自动给出有证据支撑的 GO / NO-GO 发布决策。评测分为两层：无需 API Key 的确定性检查，以及由 DeepEval + 大模型裁判完成的 faithfulness、answer relevancy 等打分。知识库为虚构的印度 Arya Bank 五份政策文档，黄金数据集含 24 条手工编写用例。