工具与应用01
作者 Peihao Yuan 介绍了一套用于灾难恢复分析的工作流:AI 智能体只负责生成受限的 SQL 或 Python 代码,真正的计算交给嵌入式数据库 DuckDB,从 Parquet 文件中算出可复现的结果,再由智能体解读这些结果。文章的核心观点是:AI 改变的是人和数据打交道的方式(接口层),而不是负责算数的查询引擎本身。文中还讲了如何把“生成”和“计算”分开以保证结果可重放,并给出四个判断信号,帮读者决定什么时候用嵌入式引擎就够、什么时候值得上托管的湖仓方案。
文中可用工具
- DuckDB嵌入式分析数据库,负责从 Parquet 文件算出可复现的结果
- Parquet列式文件格式,用作分析的数据来源
行业动态02
亚马逊收购了开发分析型数据库 DuckDB 的公司 DuckLabs。DuckDB 这类数据库擅长快速分析大量数据,和传统的逐条读写数据库不太一样。两位联合创始人 Hannes Mühleisen 和 Mark Raasveldt 会加入 AWS 并继续带领团队,目标是让 DuckDB 发展得更好、覆盖面更广,同时保持开源。收购之后,Amazon Aurora PostgreSQL 获得了第一个由 DuckDB 驱动的功能。不过原文没有说明这个功能具体是什么、何时可用,也没有披露收购金额。
文中可用工具
- DuckDB一个开源的分析型数据库,擅长快速分析大量数据
- Amazon Aurora PostgreSQL亚马逊云的关系型数据库服务,此次集成 DuckDB 能力
数据处理03
tjromack/open311-pipeline · Streaming civic-data pipeline: Chicago 311 → Kafka → Claude urgency classification (Langfuse-traced) → DuckDB or Snowflake via idempotent MERGE → dbt SLA marts. Runs with no accounts: make demo-local.
该项目是一个可复用的「流 → 分类 → 数据仓库 → 建模」市民数据流水线模板:轮询 Open311(芝加哥 311)请求,写入按 service_request_id 分键的 Kafka,用 Claude Haiku 4.5 对请求做结构化输出的紧迫度分级(每次调用在 Langfuse 中留有 trace),失败进入死信队列,再通过幂等 MERGE 写入 DuckDB(默认)或 Snowflake,最后由 dbt 构建部门 SLA 合规度数据模型。项目提供无需账号、无需 API key 的本地演示(make demo-local / make demo-local-nokafka),演示回放 300 条真实芝加哥 311 请求及其由 Claude Haiku 4.5 标注的标签;另有一条路径可从城市数据门户加载整个财年(约 212 万行)并测量整体队列的 SLA 合规度。仓库含 61 个 pytest 测试与 45 个 dbt 数据测试,覆盖 schema 漂移、DLQ、MERGE 幂等性等失效模式。README 明确指出其 SLA 阈值为项目自设而非芝加哥官方标准。
数据处理04
hankamarvanova/unified-db · 🌟 Accelerate SQLite database operations on Apple Silicon with GPU power for faster analytics and efficient data management.
unified-db 是一款面向 Apple Silicon(M1 及以后)macOS 的应用,利用统一内存架构直接执行 GPU 加速的 SQLite 查询,无需把数据拷贝到 GPU,从而提升查询速度。项目提供图形界面,支持连接 SQLite 数据库文件、输入并运行 SQL 语句、查看结果、导出结果以及监控查询性能。官方描述其目标为让非技术用户也能较简单地管理和分析数据。
数据处理05
rsm-sdeenadayalan/wildchat-analytics · Loupe: user analytics for GenAI assistants. 3.2M real conversations, a browser-side dashboard, and a full PM case study (PRD, metrics framework, trends report, retro).
Loupe 将原始对话日志转化为产品经理所需的用户洞察,回答谁在使用助手、使用强度、使用目的以及在哪里体验失败等问题。项目基于 WildChat-4.8M 的 320 万条真实人机对话构建与演示,提供数据处理流水线、浏览器端仪表盘以及完整的 PM 案例研究(含机会简报、指标框架、趋势报告与复盘),并附带可复现的标注、分类与指标聚合脚本。