GCP Dataproc火花消耗BigQuery

主要目标是从BigQuery收集一些扩展表并应用一些转换。由于我计划使用Dataproc部署Pyspark脚本的表的大小,理想情况下,我可以使用sqlContext对DFs(从BQ提取的表)应用一些sql查询。最后,我可以轻松地将这些信息转储到数据存储桶中的文件中。

问题:

• 我能用吗 import google.datalab.bigquery as bq 在我的Pypark脚本中?

• 我希望使用pandas和bq来读取查询结果,如下所示 example . 以后,我可能会用 sc.parallelize 从Spark转换成Spark-df。这种方法对吗?

my script

在与@Tanvee进行了反复讨论之后,我们得出结论,当您需要将数据存储中的数据读取到Dataproc中时,GCP需要一个中间分配步骤。简单地说,您的spark或hadoop脚本可能需要一个临时存储桶来存储表中的数据,然后将其放入spark。

参考文献:

Big Query Connector \ Deployment

非常感谢