知识库与 RAG工具
finhelm:面向美国银行 SEC 文件的金融问答 RAG 系统
omvyas77/finhelm · Finance-domain RAG over US bank SEC filings, with a CI-gated evaluation harness. Cited answers, measured abstention, and negative results kept in.
ELI5:它是什么,解决什么问题
finhelm 是一个面向美国银行 SEC 文件的金融领域 RAG 系统,支持基于约 43,000 个文件切块的混合检索(关键词+语义)、交叉编码器重排和查询拆分,仅依据检索到的段落生成带引用标记的答案,并在证据不足时给出拒答。项目配套 CI 门控的评测框架和冻结运行结果,公开了检索、拒答、成本和失败案例等量化指标及未解决问题。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 基于对美国银行 SEC 文件、美联储声明和 CFPB 投诉构建的约 43,000 个切块索引,提供:查询路由与多部分问题拆分、关键词与语义混合检索、按公司/表单/年份过滤、交叉编码器重排、仅依据检索段落生成带编号引用标记的答案、在证据不足时拒答。附有 CI 门控的评测流程(黄金集、指标、运行器)和冻结运行结果;README 报告在 202 个问题上证据命中率 74%、对无答案问题拒答率 95%(18/19)、对可答问题误拒率 12%(22/183)、每题成本 $0.03。
- 适用场景
- 信贷分析师或金融研究者查询 Capital One、Synchrony 等美国银行 10-K/8-K 中关于信用正常化的表述;对比同一公司不同年份 10-K 的披露变化;在需要引用原文出处、且希望系统在文件中找不到依据时明确拒答的金融文档问答场景。
- 项目形态
- 可直接使用的工具
- 部署方式
- 提供 Docker Compose 本地部署,UI 位于 localhost:8501,API 文档位于 localhost:8000/docs,链路追踪位于 localhost:16686,实验跟踪位于 localhost:5001。另有 Hugging Face Space 在线演示和 Kubernetes manifests(在本地 kind 集群测试)。需配置 ANTHROPIC_API_KEY,并可通过环境变量指向仓库内的小样本语料(data/ci);真实索引 961 MB 不在仓库中,需用 scripts/build_index.py 构建(CPU 约 90 分钟)。
- 主要依赖
- 需要 ANTHROPIC_API_KEY;使用 Docker Compose 运行;运行 README 所述完整语料需自行构建约 961 MB 的索引;README 报告每题 API 成本约 $0.03,其他硬件与依赖要求未说明。
- 使用限制
- 仅覆盖十家美国银行、文件截至 2026 年,超出范围应拒答。有时会从错误文档作答(例如用第三年的数据比较两个年份的 10-K);28% 的答案句子不带引用标记,包括部分含数字的句子,需人工核对。评测中中位响应约 32 秒,速度较慢。评测显示系统在“有相近但非答案内容”时更弱(如错误年份、相邻风险因素),而召回率和忠实度分数无法反映这一点。不构成投资建议,不能替代阅读原始文件。
- 许可证
- MIT
- 最近推送
- 2026-09-27 08:55
资料检查:2026-09-28 07:00 · 卡片整理:2026-10-01 07:00
卡片由 AI 根据仓库资料整理,未进行安装或运行验证 · 本次更新未完成,保留上次成功内容
职业应用
程序员
作为可复用的 RAG 系统参考实现,用于构建带引用标记的问答服务:包含混合检索(关键词+语义)、交叉编码器重排、查询拆分、拒答机制,以及 CI 门控的评测框架和冻结运行结果,可供程序员参考其检索、生成与评测代码结构。
查看内容依据
Finance-domain RAG over US bank SEC filings, with a CI-gated evaluation harness. Cited answers, measured abstention, and negative results kept in.
由 AI 根据来源材料整理,未进行安装或运行验证
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。