数据处理01
zapanss/End-to-End-ELT-Data-Pipeline-with-Databricks-Delta-Lake-DLT-dbt-Ready-Gold-Models · 🚀 Build a production-ready ELT data pipeline on Databricks, leveraging Delta Lake and DLT for efficient data ingestion, transformation, and modeling.
该项目提供了一个基于 Databricks 的生产级 ELT 数据管道实现，涵盖 Auto Loader 数据接入、Delta Live Tables (DLT) 转换、基于 CDC 的 Silver 层建模以及动态 Gold 层维度与事实表构建。支持的 dbt 集成用于数据转换和灵活建模，涉及 Bronze-Silver-Gold、SCD 等数据工程常见模式。仓库以 Jupyter Notebook 为主要载体，附带系统要求说明与相关资料链接。
工具与应用02
Datadog 发布官方介绍，讲如何把 Databricks 上的分析、数据工程和 AI/ML 工作负载接入 Datadog 统一监控。原来用户只能分别看 Databricks 自带指标和下游基础设施，成本和数据质量难以串起来。这次通过三条数据采集路径（集群上的 Agent 抓 Spark 指标与日志、轮询 Databricks API 拿任务运行状态、查系统表获取成本与血缘），把作业健康、花费、数据质量和日志汇总到一个界面。读者可以据此设置作业失败告警、查看 Spark 查询瓶颈、获得集群规格优化建议，并配合云厂商集成定位底层问题；相关功能已可用，但文中未说明具体版本或价格限制。
文中可用工具
- Datadog统一监控平台，汇总 Databricks 指标、日志、成本和数据质量
- Databricks被监控的数据分析与 AI/ML 平台
- Datadog Agent部署在经典计算集群上采集实时 Spark 指标和驱动/执行器日志
- Databricks API通过轮询获取作业和任务运行的近实时执行数据
- Databricks SQL warehouse用于查询系统表，获取成本和血缘数据
- Jobs MonitoringDatadog 的数据可观测性功能，监控批处理和流式作业的健康、性能和成本
- Data Observability监控数据质量、新鲜度、量和血缘的 Datadog 功能集
- Quality Monitoring跟踪 Delta 和 Unity Catalog 表的数据质量与模式变化
- Data Streams Monitoring映射流式管道服务与队列，追踪端到端性能和延迟
- Bits AI在 Datadog 内提供优化作业性能的建议
- Cloud Cost Management把 Databricks 单元成本与云支出并列展示
- OpenLineage Spark integration在经典计算集群上补充 Spark 级别的血缘信息
工具与应用03
Databricks 官方发了一篇指南，讲怎么收集 Databricks 和它底层 Spark 的运行数据（比如性能、成本、用量）。之前这些数据分散在各处，用户不容易统一查看和排查问题。这次介绍的方法主要是用系统表来查询日志、成本和性能指标，再配合 Spark UI、作业通知和 REST API，就能做分析和告警。不过要注意，系统表的数据不是实时的，延迟随 schema 不同，所以不能拿它做秒级告警；实时监控得靠作业通知和 API。
文中可用工具
- system tables存放 Databricks 性能、成本和用量等监控数据，可查询分析
- Unity Catalog控制谁可以访问系统表里的数据
- Databricks SQL API让外部工具从系统表拉数据做报表和分析
- Spark UI查看 Spark 作业的执行细节，帮助排查性能问题
- job notifications作业成功、失败、开始或超时时发实时通知，可发到邮件、Slack 等
- Jobs API查询作业运行情况，用于实时监控
- Databricks REST API获取查询历史等数据
- Pipelines API用 SQL 查询管道事件日志
- Spark Streaming Query Listener把流处理指标发送到外部服务