如何在Spark Scala中将两个数组/数据集的大小修改为相同?

首先,找出需要添加到 data1 数据集。使用示例中的一些数据:

val data1 = Seq(Seq(1.0, 100.0), Seq(0.7, 100.0), Seq(0.8, 50.0))
  .toDF("col1").as[Array[Double]]
val data2 = Seq(Seq(0.8, 50.0), Seq(1.0, 125.0, 0.0), Seq(0.5, 0.0, 20.0), Seq(0.5, 0.0, 15.0))
  .toDF("col1").as[Array[Double]]

val diff = data2.count() - data1.count() 

在这种情况下 diff 将具有值1。

接下来,使用适当数量的行创建一个新的数据集,其中只包含 Array(0.0, 0.0) 这应该附在后面。然后将此新数据集添加到 数据1 通过使用 union :

val appendData = Seq.fill(diff.toInt)(Array(0.0, 0.0)).toDF("col1").as[Array[Double]]
val data3 = data1.union(appendData)

结果:

+------------+
|        col1|
+------------+
|[1.0, 100.0]|
|[0.7, 100.0]|
| [0.8, 50.0]|
|  [0.0, 0.0]|
+------------+