数据处理工具
GTA Housing Pipeline：整合大多伦多地区四个政府开放住房数据并用自然语言查询
Halomaster0/GTA-Housing-pipeline
ELI5：它是什么，解决什么问题
该项目从多伦多、密西沙加、布兰普顿和皮尔区的开放数据门户及加拿大统计局采集新房与住房项目记录，用 DuckDB 将不同定义与格式的数据统一为星型模型，并提供基于规划器、执行器和批判器的自然语言查询层、60 题评测集、Power BI 报告与 Next.js 网页应用，还附带可选的 AWS Athena 分析层与数据质量审计记录。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 通过 20 个数据源规格从多个政府开放数据接口与加拿大统计局采集数据，落地为 bronze 文件；用手写 SQL 构建 DuckDB 的 silver 与 gold 层，形成 5 个维度表和 2 个事实表的星型模型；提供 planner-executor-critic 结构的自然语言查询层，将回答追溯到实际检索到的数据行；附带 60 题黄金评测集，可从正确性、忠实度与拒答三个维度机械打分；导出 CSV/Parquet 供 Power BI 报告使用，并提供 Next.js 网页应用和可选的 S3/Glue/Athena 验证层。
- 适用场景
- 适合需要把多个来源、定义不一致的政府开放数据整合为统一分析模型的场景；可用自然语言向住房建设数据提问并核对答案出处；可用于评测 LLM 在结构化数据问答中的忠实度与拒答行为；也可作为 DuckDB 数据管道、Power BI 报表与 Athena 一致性校验的参考实现。
- 项目形态
- 可直接使用的工具
- 部署方式
- 本地可通过 uv 安装依赖并运行数据管道、FastAPI 查询服务与 Next.js 应用；生产环境示例将查询 API 部署在 Vercel；AWS 分析层用 Terraform 部署到 AWS 账户，为验证性部署而非生产数据平台。
- 主要依赖
- 需要 uv 管理的 Python 3.11、Node.js 22、联网访问数据源；/ask 与评测需要 OpenRouter API Key；Power BI 报表需要 Windows 上的 Power BI Desktop；AWS 层需要 AWS CLI v2、Terraform 1.16.6 与 AWS 账户。
- 使用限制
- 多伦多净单元数暂未纳入发布数据；发布数据基于 2026 年 9 月快照，与最新构建计数不同；季度后数据需另行审计；Power BI 服务副本不会从仓库刷新；AWS 层仅验证一致性，不证明性能、真实规模或生产可用性；LLM 调用费用与具体成本未在材料中给出完整说明；评测全量运行耗时 17 至 23 分钟。
- 许可证
- MIT
- 最近推送
- 2026-11-06 03:03
资料检查：2026-11-06 07:00 · 卡片整理：2026-11-06 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为数据工程与 LLM 应用开发的参考实现：包含 DuckDB 星型模型 SQL 转换、planner/executor/critic 自然语言查询层、60 题评测集与评测脚本，可用于学习或复用其数据管道、查询 API 与评测框架的代码结构。
查看内容依据
A planner, executor and critic over the gold warehouse, a 60-question golden set, and an eval harness that scores correctness, faithfulness and refusals.
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
用于住房建设与开发审批相关的数据分析：整合多伦多地区四个政府开放住房数据，通过自然语言查询获取与底层数据行对应的答案，并借助 Power BI 报告查看 GTA 概览、市政对比、管道速度和地理分布等指标。
查看内容依据
lets someone ask plain-English questions about it and get answers tied back to the underlying rows
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。