Pinterest 使用事件时间水位终结 PB 级数据分区

Pinterest 为其下一代数据库摄取框架引入事件时间分区终结机制，让下游作业判断流式数据何时足够完整可消费。该机制利用 Apache Flink 统计事件时间进度，并通过 Apache Iceberg 元数据发布不倒退的终结水位；默认策略取近期若干次提交的最小事件时间并向下取整到相关小时。水位存为 Iceberg 表属性，下游无需额外协调服务即可读取，也可选择牺牲部分完整性以获取更新鲜的数据。