Databricks 的原生监控资源
Databricks 官方发了一篇指南，讲怎么收集 Databricks 和它底层 Spark 的运行数据（比如性能、成本、用量）。之前这些数据分散在各处，用户不容易统一查看和排查问题。这次介绍的方法主要是用系统表来查询日志、成本和性能指标，再配合 Spark UI、作业通知和 REST API，就能做分析和告警。不过要注意，系统表的数据不是实时的，延迟随 schema 不同，所以不能拿它做秒级告警；实时监控得靠作业通知和 API。
文中可用工具
- system tables存放 Databricks 性能、成本和用量等监控数据，可查询分析
- Unity Catalog控制谁可以访问系统表里的数据
- Databricks SQL API让外部工具从系统表拉数据做报表和分析
- Spark UI查看 Spark 作业的执行细节，帮助排查性能问题
- job notifications作业成功、失败、开始或超时时发实时通知，可发到邮件、Slack 等
- Jobs API查询作业运行情况，用于实时监控
- Databricks REST API获取查询历史等数据
- Pipelines API用 SQL 查询管道事件日志
- Spark Streaming Query Listener把流处理指标发送到外部服务
评论 · 分享第一个看法