AI 资源库 · 已整理 5 项

duckdb

查看与duckdb相关的 AI 资讯、工具、Skill、工作流和开源项目。

AI 改变的是数据接口,而非查询引擎

作者 Peihao Yuan 介绍了一套用于灾难恢复分析的工作流:AI 智能体只负责生成受限的 SQL 或 Python 代码,真正的计算交给嵌入式数据库 DuckDB,从 Parquet 文件中算出可复现的结果,再由智能体解读这些结果。文章的核心观点是:AI 改变的是人和数据打交道的方式(接口层),而不是负责算数的查询引擎本身。文中还讲了如何把“生成”和“计算”分开以保证结果可重放,并给出四个判断信号,帮读者决定什么时候用嵌入式引擎就够、什么时候值得上托管的湖仓方案。

文中可用工具

  • DuckDB嵌入式分析数据库,负责从 Parquet 文件算出可复现的结果
  • Parquet列式文件格式,用作分析的数据来源
☆ 收藏查看来源 ↗

亚马逊收购 DuckLabs,并将 DuckDB 集成进 Amazon Aurora PostgreSQL

亚马逊收购了开发分析型数据库 DuckDB 的公司 DuckLabs。DuckDB 这类数据库擅长快速分析大量数据,和传统的逐条读写数据库不太一样。两位联合创始人 Hannes Mühleisen 和 Mark Raasveldt 会加入 AWS 并继续带领团队,目标是让 DuckDB 发展得更好、覆盖面更广,同时保持开源。收购之后,Amazon Aurora PostgreSQL 获得了第一个由 DuckDB 驱动的功能。不过原文没有说明这个功能具体是什么、何时可用,也没有披露收购金额。

文中可用工具

  • DuckDB一个开源的分析型数据库,擅长快速分析大量数据
  • Amazon Aurora PostgreSQL亚马逊云的关系型数据库服务,此次集成 DuckDB 能力
☆ 收藏查看来源 ↗

open311-pipeline:芝加哥 311 市民服务请求的流式 LLM 紧迫度分类与数据仓库流水线

tjromack/open311-pipeline · Streaming civic-data pipeline: Chicago 311 → Kafka → Claude urgency classification (Langfuse-traced) → DuckDB or Snowflake via idempotent MERGE → dbt SLA marts. Runs with no accounts: make demo-local.

该项目是一个可复用的「流 → 分类 → 数据仓库 → 建模」市民数据流水线模板:轮询 Open311(芝加哥 311)请求,写入按 service_request_id 分键的 Kafka,用 Claude Haiku 4.5 对请求做结构化输出的紧迫度分级(每次调用在 Langfuse 中留有 trace),失败进入死信队列,再通过幂等 MERGE 写入 DuckDB(默认)或 Snowflake,最后由 dbt 构建部门 SLA 合规度数据模型。项目提供无需账号、无需 API key 的本地演示(make demo-local / make demo-local-nokafka),演示回放 300 条真实芝加哥 311 请求及其由 Claude Haiku 4.5 标注的标签;另有一条路径可从城市数据门户加载整个财年(约 212 万行)并测量整体队列的 SLA 合规度。仓库含 61 个 pytest 测试与 45 个 dbt 数据测试,覆盖 schema 漂移、DLQ、MERGE 幂等性等失效模式。README 明确指出其 SLA 阈值为项目自设而非芝加哥官方标准。

☆ 收藏查看来源 ↗

unified-db:面向 Apple Silicon 的 GPU 加速 SQLite 查询工具

hankamarvanova/unified-db · 🌟 Accelerate SQLite database operations on Apple Silicon with GPU power for faster analytics and efficient data management.

unified-db 是一款面向 Apple Silicon(M1 及以后)macOS 的应用,利用统一内存架构直接执行 GPU 加速的 SQLite 查询,无需把数据拷贝到 GPU,从而提升查询速度。项目提供图形界面,支持连接 SQLite 数据库文件、输入并运行 SQL 语句、查看结果、导出结果以及监控查询性能。官方描述其目标为让非技术用户也能较简单地管理和分析数据。

☆ 收藏查看来源 ↗

Loupe:面向 GenAI 助手的用户行为分析工具

rsm-sdeenadayalan/wildchat-analytics · Loupe: user analytics for GenAI assistants. 3.2M real conversations, a browser-side dashboard, and a full PM case study (PRD, metrics framework, trends report, retro).

Loupe 将原始对话日志转化为产品经理所需的用户洞察,回答谁在使用助手、使用强度、使用目的以及在哪里体验失败等问题。项目基于 WildChat-4.8M 的 320 万条真实人机对话构建与演示,提供数据处理流水线、浏览器端仪表盘以及完整的 PM 案例研究(含机会简报、指标框架、趋势报告与复盘),并附带可复现的标注、分类与指标聚合脚本。

☆ 收藏查看来源 ↗