代码之家 › 专栏 › 技术社区 › Luke De Feo

如何在apache beam/dataflow中跨重叠滑动窗口消除重复数据

spotify-scio apache-beam google-cloud-dataflow

Luke De Feo · 技术社区 · 7 年前

我有以下要求:

我能够编写一个函数,该函数使用PCollection进行必要的分组、逻辑和过滤,并根据我的业务逻辑发出事件。

问题:

由于滑动窗口重叠,输出PCollection包含重复项。我知道这是滑动窗口的预期行为,但我如何在保持相同的数据流管道的同时避免这种情况。我意识到我可以在外部系统中消除重复数据,但这只会增加我的系统的复杂性。
我还需要编写某种触发器,以便在窗口中每次达到我的条件时触发
数据流是否适合这种类型的实时检测场景

非常感谢

1 回复 | 直到 7 年前

jkff 7 年前

您可以重新输入输出 PCollection 进入全局窗口(使用常规 Window.into() )并使用 GroupByKey .
听起来你已经把感兴趣的事件作为 P收集 . 为了“为每项活动做点什么”,你只需要一个 ParDo.of(whatever action you want) 应用于此集合。触发器还可以做其他事情:它们控制当一个新值 V 到达特定密钥 K 在一个 GroupByKey<K, V> :是删除值,还是对其进行缓冲,还是传递缓冲 KV<K, Iterable<V>> 用于下游处理。
是:)

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

6 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

7 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

7 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

7 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

7 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

7 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

7 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

7 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

7 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

7 年前