跳到正文
热点事件持续更新

Pinterest用事件时间判定数据分区完成

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Pinterest 为下一代数据库摄取框架引入事件时间分区终结机制,让下游作业判断流式数据是否已足够完整、可安全消费。该机制通过 Apache Flink 统计事件时间进度,并利用 Apache Iceberg 元数据发布不会倒退的终结水位。 默认策略会参考近期若干次提交,以其中最小事件时间为准,并向下取整到相关小时;水位存于 Iceberg 表属性中,下游无需额外协调服务即可读取。下游也可选择牺牲部分完整性,以获取更新鲜的数据。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. InfoQ
    Pinterest 使用事件时间水位终结 PB 级数据分区

    Pinterest 为其下一代数据库摄取框架引入事件时间分区终结机制,让下游作业判断流式数据何时足够完整可消费。该机制利用 Apache Flink 统计事件时间进度,并通过 Apache Iceberg 元数据发布不倒退的终结水位;默认策略取近期若干次提交的最小事件时间并向下取整到相关小时。水位存为 Iceberg 表属性,下游无需额外协调服务即可读取,也可选择牺牲部分完整性以获取更新鲜的数据。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。