对partitionBy创建的一个输出目录中的数据进行排序

我有一个很大的地理空间数据集分区,按quadkey的级别5。 在每个qk5级别的目录中,大约有1-50 Gb的数据,因此它不适合放在一个文件中。我想在进行地理空间查询时从下推过滤器中受益。所以我希望一个qk5分区中的文件按更高的qk分辨率排序(比如说四键级别10)。 问题:有没有办法在partitionBy batch中对数据进行排序? 例如

qk5=00001/
    part1.parquet
    part2.parquet
    part3.parquet
    part4.parquet
...

qk5=33333/
    part10000.parquet
    part20000.parquet
    part30000.parquet
    part40000.parquet

我想让来自part1.parquet、part2.parquet,part3.parquet和part4.parquet的数据按“qk10”列排序。

这是当前的代码,但它只提供在一个特定分区内的排序(例如part1.parquet):

// Parquet save
preExportRdd.toDF
  .repartition(partitionsNumber, $"salt")
  .sortWithinPartitions($"qk10")
  .drop("salt")
  .write
  .partitionBy("qk")
  .format("parquet")
  .option("compression", "gzip")
  .mode(SaveMode.Append)
  .save(exportUrl)