代码之家 › 专栏 › 技术社区 › Ramakrishna

将Spark数据帧保存到多个并行目标

apache-spark-sql apache-spark

Ramakrishna · 技术社区 · 6 年前

我需要将我的最终数据帧写入hdfs和oracle数据库。目前,一旦保存到hdfs完成,它就开始写入rdbms。是否有任何方法可以使用Java线程将相同的文件保存到HDFS以及RDBMS并行。

finalDF.write().option("numPartitions", "10").jdbc(url, exatable, jdbcProp);
finalDF.write().mode("OverWrite").insertInto(hiveDBWithTable);

谢谢。

2 回复 | 直到 6 年前

Ajay Srivastava 6 年前

在写入hdfs和rdbms之前缓存finaldf。然后确保有足够的执行器可以同时编写。如果finaldf中的分区数为p,每个执行器的核心数为c,则需要最少的ceilof(p/c)+ceilof(10/c)执行器。

Ged 6 年前

df.show和df.write是动作。动作在火花中按顺序发生。所以,答案是否定的,除非使用线程,否则标准上是不可能的。

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前