AI 资源库 · 已整理 2 项
查看与delta-lake相关的 AI 资讯、工具、Skill、工作流和开源项目。
有人对比了 Delta Lake 上三种数据布局方式：Liquid Clustering、ZOrdering 和分区。所谓数据布局，就是数据在存储里怎么摆放，摆得好查询就快。作者在四类典型工作负载上做了测试，发现两个此前没被记录过的失效模式，可能已经影响到现在的生产系统。文章最后给出了一套选择布局策略的决策框架，帮助工程师按自己的场景挑合适方案。
zapanss/End-to-End-ELT-Data-Pipeline-with-Databricks-Delta-Lake-DLT-dbt-Ready-Gold-Models · 🚀 Build a production-ready ELT data pipeline on Databricks, leveraging Delta Lake and DLT for efficient data ingestion, transformation, and modeling.
该项目提供了一个基于 Databricks 的生产级 ELT 数据管道实现，涵盖 Auto Loader 数据接入、Delta Live Tables (DLT) 转换、基于 CDC 的 Silver 层建模以及动态 Gold 层维度与事实表构建。支持的 dbt 集成用于数据转换和灵活建模，涉及 Bronze-Silver-Gold、SCD 等数据工程常见模式。仓库以 Jupyter Notebook 为主要载体，附带系统要求说明与相关资料链接。