代码之家 › 专栏 › 技术社区 › Nagesh Singh Chauhan

无法将beamSql数据写入BigQuery

apache-beam

Nagesh Singh Chauhan · 技术社区 · 6 年前

我正在尝试将beamSql数据写入BigQuery,如下所示:

final_out1.apply(BigQueryIO.<TableRow>Write
    .named("Write")
    .to("my-project:data_id1.tables_test")
    .withSchema(schema)
    .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE))
    .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED));

我在named()上遇到错误,错误为:

The method named(String) is undefined for the type BigQueryIO.Write

知道这意味着什么吗?

编辑我定义的格式函数:

final_out1.apply(BigQueryIO.<TableRow>write()
    .withSchema(schema)
    .to("beta-194409:data_id1.tables_test"));
    /*  .withFormatFunction(fin -> new TableRow().
                                 set("SalesComponent", fin.getSalesComponent()).
                                 set("DuetoValue", fin.getDuetoValue()).
                                 set("ModelIteration", fin.getMo//delIteration()))  */
    //.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE).withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED));

1 回复 | 直到 6 年前

Andrew Nguonly 6 年前

没有这样的方法 named() 对于类 BigQueryIO.Write 所以这个错误是有道理的。

可以将变换名称指定为 apply() 方法

final_out1.apply("Write", BigQueryIO.<TableRow>.write()
    .to("my-project:data_id1.tables_test")
    .withSchema(schema)
    .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE))
    .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED));

注:使用 BigQueryIO.write() 而不是 BigQueryIO。写 .

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

6 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

6 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

6 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

6 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

6 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

6 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

6 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

6 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

6 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

6 年前