Pinterest 利用事件时间水位线完成 PB 级数据分区定稿
Pinterest 在数据库接入流程里加了一套机制，用来判断持续灌入的数据什么时候“差不多齐了”，好让下游任务开始处理。以前这种持续写入的数据不好确定边界，容易处理到一半又来了新数据。他们用 Apache Flink 跟踪事件时间，再通过 Apache Iceberg 的元数据发布一个只增不退的水位线，作为“可以定稿”的信号。这样下游就能按分区处理已经足够完整的数据，支撑到 PB 级别。这属于工程机制分享，原文没有说明具体上线范围或性能数字。
文中可用工具
- Apache Flink跟踪事件时间，用于判断数据进度
- Apache Iceberg通过元数据发布只增不退的水位线
评论 · 分享第一个看法