分布式进程更新Spark中的全局/单个变量

我在集群上处理大量数据时遇到了麻烦。

代码:

val (sumZ, batchSize) = data.rdd.repartition(4)
  .treeAggregate(0L, 0L))(
    seqOp = (c, v) => {
      // c: (z, count), v
      val step = this.update(c, v)
      (step._1, c._2 + 1)
    },
    combOp = (c1, c2) => {
      // c: (z, count)
      (c1._1 + c2._1, c1._2 + c2._2)
    })

val finalZ = sumZ / 4

正如您在代码中看到的,我当前的方法是将这些数据划分为4个块(x ₀ ,x _1. ,x _2. ,x _3. )使所有流程独立。每个进程生成一个输出(z ₀ z _1. z _2. z _3. ),z的最终值是这4个结果的平均值。

这种方法可行,但精度(和计算时间)受分区数量的影响。

我的问题 是否有一种生成“全局”z的方法,该z将从每个进程(分区)更新。