知识库与 RAG工具
Earnings RAG:基于 SEC 10-K 财报的检索增强问答系统
dennisdang5/earnings-rag · RAG over SEC 10-K filings for NVIDIA, Apple, and Capital One — grounded, cited answers with a streaming UI, an eval-gated CI pipeline, and AWS deployment.
ELI5:它是什么,解决什么问题
该项目是一套端到端的检索增强生成(RAG)系统,面向 NVIDIA、Apple、Capital One 三家公司的 SEC 10-K 年报,回答问题时只依据财报原文并给出引用来源。系统包含 SEC EDGAR 数据抓取、解析与分块、OpenAI 嵌入、PostgreSQL + pgvector 向量检索、基于 gpt-4o-mini 的带引用生成、SSE 流式 Web 界面、可门控 CI 的评测工具以及 AWS 部署方案,仓库中还记录了分块大小、提示词修改、公司路由等设计取舍与已知局限。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供从 SEC EDGAR 抓取 10-K 财报、清理解析(去除内联 XBRL、表格与页眉页脚)、按 500 token / 50 重叠分块、调用 OpenAI text-embedding-3-small 生成向量并存入 PostgreSQL + pgvector 的离线流程;在线部分对问题做嵌入、余弦距离检索 top 5 段落、按公司名进行检索路由,并用 gpt-4o-mini 基于所检索段落生成带 [n] 引用的答案,检索不到相关内容时拒答。提供 FastAPI 接口(/ask、/ask/stream、/chunks/{id}、/health、/metrics)、SSE 流式 Web UI(引用可悬停预览并高亮、匹配强度以进度条与文字标签呈现)、基于 recall@5 与拒答精度的评测脚本,以及在 GitHub Actions 中以 0.75 recall 阈值为门限的 CI 评测。
- 适用场景
- 适合需要针对企业财报文件做有据可查问答的场景,例如查询 NVIDIA、Apple、Capital One 年报中的业务描述与风险因素并获取原文出处;也可作为搭建 RAG 系统的参考实现,借鉴其分块参数选择、检索评测(anchor 短语代替 chunk ID)、拒答校验、无网络/无密钥的封闭式 CI 夹具,以及 AWS(ECR/ECS/RDS/Secrets Manager)部署实践。
- 项目形态
- 可直接使用的工具
- 部署方式
- 可本地运行:使用 Python 3.11+、Docker 与 PostgreSQL + pgvector(docker compose 启动数据库,默认端口 5433),或以容器方式运行整套服务;也提供 AWS 部署方案(镜像推送 Amazon ECR,ECS Express Mode + Fargate + ALB,RDS PostgreSQL,Secrets Manager 管理密钥,CloudWatch 告警回滚)。
- 主要依赖
- 需要 Python 3.11+、Docker 以及 OpenAI API key;本地构建语料需下载 12 份财报并嵌入约 1800 个分块(README 称花费为数美分);使用嵌入与生成模型需调用 OpenAI 接口并承担相应 API 成本,具体费率未说明。
- 使用限制
- 表格在解析阶段被丢弃,因此数值类问题不在支持范围(README 建议改用基于 XBRL 数据的 text-to-SQL 单独处理);三个 Capital One 问题仍存在检索失败;公司识别模式针对三个股票代码硬编码,扩展到更大规模需要改为在摄入阶段依据 SEC 公司名称生成;评测集仅 22 个问题,单题约影响 4.5 个百分点的 recall;CI 评测为无网络封闭运行,生成阶段的拒答检查需调用 API。
- 许可证
- 未说明
- 最近推送
- 2026-10-02 05:56
资料检查:2026-10-02 07:00 · 卡片整理:2026-10-02 09:00
卡片由 AI 根据仓库资料整理,未进行安装或运行验证 · 本次更新未完成,保留上次成功内容
职业应用
程序员
作为端到端 RAG 系统的参考实现,程序员可复用其 SEC EDGAR 数据抓取、解析分块、OpenAI 嵌入、PostgreSQL + pgvector 向量检索、带引用生成、SSE 流式界面、评测工具与 AWS 部署方案,用于构建或学习检索增强问答系统。
查看内容依据
This is an end-to-end retrieval-augmented generation system: SEC ingestion, parsing, chunking, embedding, vector search, grounded generation, a streaming web UI, an evaluation harness that gates CI, and a deployment on AWS.
由 AI 根据来源材料整理,未进行安装或运行验证
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。