代码之家 › 专栏 › 技术社区 › bignano

将数据从BigQuery和/或云存储GCS读取到Dataproc中

google-cloud-dataproc google-cloud-storage google-bigquery

bignano · 技术社区 · 7 年前

我正在将BigQuery中的数据读取到dataproc spark集群中。如果在我的例子中,BigQuery表中的数据最初是从GCS加载的,那么最好直接将GCS中的数据读取到spark cluster中,因为BigQuery connector for dataproc(newAPIHadoopRDD)首先将数据下载到Google云存储桶中?这两种方法之间有什么利弊?

1 回复 | 直到 7 年前

Dennis Huo 7 年前

使用BigQuery连接器最适合于您希望尽可能多地抽象出GCS导出/导入,并且不希望显式管理GCS内的数据集的情况。

推荐文章

Lejla · 在dataproc上找不到有效的SPARK\u主页

7 年前

Radhika · 使用Google Deployment Manager将配置单元表部署到Dataproc群集

7 年前

Nira · Dataproc依赖项冲突-google api客户端

7 年前

Matus Cimerman · 集群加密中的Google Dataproc

7 年前

Tom Lous · GCP Dataproc spark。罐子包发布下载依赖项

7 年前

artyomboyko · 无法创建dataproc群集

7 年前

bignano · 将数据从BigQuery和/或云存储GCS读取到Dataproc中

7 年前

charlesreid1 · PySpark通过Dataproc+SSL连接到云SQL

7 年前

seandavi · 在启动用于Jupyter笔记本电脑的Google DataProc集群时,我如何添加额外的JAR?

7 年前

santobedi · 这个错误的解决方案是什么,JBlas不是包或apache的成员?

7 年前