管道健康

监控仓库数据质量不能只看管道健康

销售副总裁让一个连着 Snowflake 的 AI 智能体查上季度收入，结果数字不对。检查发现管道任务全部按时跑完、日志也没报错，但底层表已经连续好几天少了约 22% 的行，还有三个关键字段几乎一半是空的，全程没有任何告警，等发现时报表和决策已经受影响。这篇文章讲的是：管道跑成功不代表表里的数据是对的，还要直接对表本身做检查，比如数据是否按时刷新、行数是否异常变化、字段空值或分布是否漂移、有没有重复记录，并用管道信息帮忙定位是源头、调度还是转换逻辑出的问题。这样能更早发现“管道正常但数据悄悄变坏”的情况，避免拿错数据做决策。