代码之家 › 专栏 › 技术社区 › MaatDeamon

spark.sql.shuffle.partitions到底指什么?

apache-spark-sql apache-spark

MaatDeamon · 技术社区 · 6 年前

到底是什么 spark.sql.shuffle.partitions 指什么?我们说的是宽变换的结果分区的数量,还是在中间发生的事情,比如在宽变换的结果分区之前的某种中间分区?

Parents RDDs -> shuffle files -> Child RDDs

洗牌文件 或者或者其他我忽略的东西?

1 回复 | 直到 3 年前

vinsce user10407081 3 年前

这已经在中解释过了 the official docs

spark.sql.shuffle.partitions 200配置为联接或聚合洗牌数据时要使用的分区数。

换句话说,它是子对象的分区数 Dataset

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前