代码之家 › 专栏 › 技术社区 › kee

GCP数据流错误:路径“gs://…”不是有效的文件模式。模式的格式必须为“gs://<bucket>/path/to/file”

google-cloud-dataflow google-cloud-storage google-cloud-platform

kee · 技术社区 · 6 年前

我试图在GCP控制台中创建从Pub Sub到BigQuery的数据流。

所以我指定了类似这样的内容:“gs://${GOOGLE_CLOUD_PROJECT}-test/dataflow/tmp”

Path "gs://${GOOGLE_CLOUD_PROJECT}-test/dataflow/tmp" is not a valid  filepattern. The pattern must be of the form "gs://<bucket>/path/to/file".

我尝试了不同的模式,但没有成功。知道怎么解决吗?

1 回复 | 直到 6 年前

Martin Zeitler 6 年前

它抱怨它想要一个桶。。。

模式的格式必须为“gs://[bucket]/path/to/file”。

export PROJECT_ID=$(gcloud config list --format 'value(core.project)')
export BUCKET_NAME="${PROJECT_ID}-test"

gsutil "gs://${BUCKET_NAME}/dataflow/tmp"

想知道 -test

一个人可以获得所有有效的 BUCKET_NAME s与 gsutil ls

推荐文章

rish0097 · 使用PubsubIO.writeAvros()将KV Pcollection写入Pubsub

1 年前

Michael Brenndoerfer · 从Spanner数据流读取时,GCP数据流如何处理故障?

2 年前

Prof. Falken · 在CSV中读取时,Tensorflow错误“UnimplementedError:不支持将字符串转换为浮点”

7 年前

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

7 年前

Paolo Ciarrocchi · 使用GCP模板将云存储文本转换为BigQuery

7 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

7 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

7 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

7 年前

Henry Chen · 使用数据流从计算引擎读取数据

7 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

7 年前