代码之家 › 专栏 › 技术社区 › bw4sz

除了google云数据流之外,apache beam python还支持哪些跑步者?

hpc apache-beam google-cloud-dataflow apache-spark

bw4sz · 技术社区 · 6 年前

大约一年来,我一直在使用google云数据流和apache beam构建python管道。我将离开谷歌云环境 university cluster ,已安装spark。看起来spark runner只适用于java( https://beam.apache.org/documentation/runners/spark/ )?对于如何在云数据流之外运行python apache beam管道,有什么建议吗?

1 回复 | 直到 6 年前

jkff 6 年前

到目前为止,这还不可能实现,但跨运行程序和语言的可移植性是Beam目前开发的最高优先级和最活跃的领域,我认为便携式Flink runner非常接近能够在Python中运行简单的管道,便携式Spark runner开发即将开始(并与Flink共享大量代码)。请继续关注dev@邮件列表!

推荐文章

Prof. Falken · 在CSV中读取时,Tensorflow错误“UnimplementedError:不支持将字符串转换为浮点”

6 年前

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

6 年前

Paolo Ciarrocchi · 使用GCP模板将云存储文本转换为BigQuery

6 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

6 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

6 年前