代码之家 › 专栏 › 技术社区 › hamdog

将大查询数据流加载到空分区

apache-beam google-cloud-dataflow google-bigquery python

hamdog · 技术社区 · 6 年前

使用ApacheBeampython SDK,我已经建立了一个数据流,它在大查询中写入日期分区表中的各个分区。根据 this documentation 每个日期分区表都有特殊的 NULL 和 UNPARTITIONED 分区。根据这些文件,我可以写信给 未分区的 只需将我的日期设置在过去或将来,但我如何才能写入 无效的 分区?

我正在尝试根据数据中的值将数据加载到分区,有时字段为空。我宁愿写信给 无效的 分区而不是组成一个用于空值的日期。

作为参考,我写了一些像这样的分区的最新操作:

beam.io.Write(beam.io.BigQuerySink(table_id+'$20180925',
    project=project_id, dataset=dataset_id, schema=schema))

我需要换什么 $20180925 要写信给 无效的 ?

1 回复 | 直到 6 年前

Pavan Edara 6 年前

这个 无效的 分区仅在由数据中的列分区的表中可用,而不是在接收时间分区表时可用。如果要写入列分区表,则不能简单地在特定行中填充该列的值,并使用表ID(不带任何分区后缀)写入 无效的 分区。

推荐文章

Hal · 如何在bigquery中从长数据创建列表?

2 年前

Danne Paredes · 如何:对于每个唯一id,对于每个唯一版本,获取最佳分数并将其组织到一个表中

2 年前

Justin · 从字符串中提取日期的大查询

2 年前

Evans Gunawan · 如何使用sql bigquery中的前一列值将数据重塑为新列?

2 年前

Fernando Gomes · 这是本月的第一周。一周从周一开始,周日结束

2 年前

Bill LaLonde · 此错误意味着什么:从位置0开始的行中缺少列索引8所需的列值

2 年前

vinay lokwani · 在大查询中的嵌套字段中插入用于输入数据的语句

2 年前

anat · 在BigQuery中的特定字符串后查找n个字符

2 年前

SaravanaKumar Prithiviraj · 如何在bigquery资源中检测权限删除

2 年前

Anil · 在Google Big\u查询中显示每月的第一天

6 年前