监控 Databricks 的关键指标

Databricks 的技术写作者 Aaron Kaplan 和产品经理 Ryan Warrier 写了一篇文章，教大家怎么监控 Databricks 平台上的数据工程、分析和模型服务任务是否健康、跑得快不快、花销有没有失控。原来很多团队用 Databricks 跑批处理、流式管道和 SQL 查询，但任务失败或变慢往往发现太晚，账单也容易悄悄涨上去。他们建议盯住几类关键指标，比如任务运行结果是成功、失败还是超时，任务跑了多长时间，有多少子任务出错，以及管道里有没有数据质量报错；这些指标来自 Databricks 自带的系统表。文章只是系列博客的第一篇，讲了平台架构和指标清单，没有给出具体告警阈值或现成仪表盘，系统表也标注为 Beta 状态，读者需要自己根据这些指标搭监控。