SparkSQL连接问题

如果对dataframe有任何操作,则默认情况下,spark将创建200个分区导致200个到数据库的连接。

spark.sql.shuffle.partitions—配置在对连接或聚合的数据进行无序处理时要使用的分区数--默认值:200

使用以下方法检查数据帧的分区数:

df.rdd.getNumPartitions

在常用列上使用重新分区数据帧:
df.repartition(NUMBER_OF_PARTIOTONS, col("Frequent_used_column"))

还可以设置“batchsize”参数来控制每次往返要插入的行数这有助于提高JDBC驱动程序的性能默认为1000。

jdbcDF.write
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .option("batchsize", 5000)
  .save()