代码之家 › 专栏 › 技术社区 › bignano

将数据从BigQuery和/或云存储GCS读取到Dataproc中

google-cloud-dataproc google-cloud-storage google-bigquery

bignano · 技术社区 · 7 年前

我正在将BigQuery中的数据读取到dataproc spark集群中。如果在我的例子中,BigQuery表中的数据最初是从GCS加载的,那么最好直接将GCS中的数据读取到spark cluster中,因为BigQuery connector for dataproc(newAPIHadoopRDD)首先将数据下载到Google云存储桶中?这两种方法之间有什么利弊?

1 回复 | 直到 7 年前

Dennis Huo 7 年前

使用BigQuery连接器最适合于您希望尽可能多地抽象出GCS导出/导入,并且不希望显式管理GCS内的数据集的情况。

推荐文章

Jurgen · 是否可以从linux shell脚本从云存储中检索文档?

6 年前

Jan · GCP部署管理器:403没有存储。水桶。得以进入

6 年前

Bruce Mu · 在gcs上使用拼花文件创建新的大查询外部表时。显示错误

6 年前

Brian · 为什么写入GCS存储桶会导致本地开发blob存储条目?

6 年前

Nitishkumar Singh user3744342 · Google云存储同时上传多个大文件时引发错误

6 年前

Nagesh Singh Chauhan · 遍历所有文件夹以搜索最新修改的文件

6 年前

user3116871 · 使用具有云功能的下载url从firebase存储中删除文件

6 年前

Tabish Rizvi · 如何从google云存储中的多个文件中删除扩展名?

6 年前

Tom Gummery · 将负载平衡的Google后端bucket限制为特定的IP范围

6 年前

user1403546 · Python-从Google云存储下载整个目录

6 年前