代码之家 › 专栏 › 技术社区 › Nagesh Singh Chauhan

如何在BeamSql中将BeamRecord转换为字符串

apache-beam

Nagesh Singh Chauhan · 技术社区 · 6 年前

我正在将beamRecord转换为字符串。下面是代码片段:

PCollection<BeamRecord> output_A = apps.apply(BeamSql.query("select Outlet from PCOLLECTION"));
output_A.apply(TextIO.write().to("gs://google_bucket/output/sbc.txt"));

output\u A是BeamRecord格式,需要转换为字符串,以便将其写入输出文件。

以下是output\u A.apply上的错误:

应用的方法(PTransform,Output>)在类型中,PCollection不适用于参数(TextIO.Write)

所以我的问题是如何将BeamRecord转换为字符串格式。

1 回复 | 直到 6 年前

Andrew Nguonly 6 年前

您需要对转换 BeamRecord 到a String 在应用之前 TextIO.Write 使改变有很多方法可以做到这一点。您可以转换 光束记录 到a 一串 以任何你想要的方式。

易于理解的 toString() 。

public void processElement(ProcessContext c) {

    // c.element() returns a BeamRecord
    c.output(c.element().toString());
}

或从 光束记录 。

public void processElement(ProcessContext c) {

    // c.element() returns a BeamRecord
    c.output(c.element().getString("fieldName"));
}

参考号: BeamRecord

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

6 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

6 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

6 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

6 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

6 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

6 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

6 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

6 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

6 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

6 年前