代码之家 › 专栏 › 技术社区 › xmar

卡夫卡:防止删除重新处理的过去事件

apache-kafka-streams apache-kafka

xmar · 技术社区 · 6 年前

我有一个 events 主题保留完整,因此我可以随时重新处理。我使用Kafkastreams来处理这些数据(包括会话)。有许多输出主题发送到数据库。

我有一个时间戳提取器,它将kafka记录的时间戳设置为原始事件的时间戳,以便对数据执行窗口化等操作。

但是,在处理的输出主题中,我已经设置了长达数周的保留策略(因此在使用完这些策略后会将其删除)。

如果从原始主题重新处理此数据,则在输出主题中生成的时间戳可能早于保留策略的阈值,因此它们可能被标记为删除。

既然它们在发布时有资格保留,那么如何防止它们被删除呢?如何将数据保留的不同时间戳与数据处理分开?它是 几乎是强制性的 要在输出主题上使用“墙壁时钟时间”时间戳以保留内容吗?

1 回复 | 直到 6 年前

Matthias J. Sax 6 年前

推荐文章

Stella · Kafka流处理期间处理数据时出现异常

6 年前

Stella · kafka流中的处理器节点

6 年前

mukesh210 · 卡夫卡流:Lib Rocks数据库上的UnsatifiedLinkError

6 年前

el323 · Kafka流:通过Json日志中的键进行分组

6 年前

Suchita · 如何使用Avro反序列化器和Avro序列化器为KafkaStreams编写Junit测试用例

6 年前

Cemo · 如何获得有关GlobalKTable状态存储更新的通知?

6 年前

px5x2 · Kafka将GlobalKTable同步流传输到应用程序

6 年前

Dth · 加工机为Kafka流中的单个任务多次调用init()

6 年前

nattyddubbs · Kafka Streams多实例设计含义

6 年前

dvlcis · 如何使用卡夫卡流窗口为烛台图生成创建一条记录

6 年前