代码之家 › 专栏 › 技术社区 › Sai

两个RDD的笛卡尔乘积和笛卡尔分解之和导致Spark(scala)?

scala-collections spark-dataframe apache-spark scala arrays

Sai · 技术社区 · 7 年前

我有两个RDD(Spark scala),如下所示:

rdd1是 Array((1,Array(1,2,3)),(2,Array(1,2,4)))

rdd2是 Array((1,Array(4,5,6)),(2,Array(3,5,6)))

首先,我必须生成上述两个RDD的数组值的笛卡尔和求和。

((11,(Array(1,2,3),Array(4,5,6))),(12,(Array(1,2,3),Array(3,5,6))),(21,(Array(1,2,4),Array(4,5,6))),(22,(Array(1,2,4),Array(3,5,6))))

笛卡尔和求和如下:

Array((11,1*4+2*5+3*6) ,(12,1*3+2*5+3*6),(21,(1*4+2*5+4*6))(22,(1*3+2*5+4*6))

我尝试过笛卡尔方法,如下所示:

scala> val cart=rdd1.cartesian(rdd2)

但我得到的结果是:

Array[((Int, Array[Double]), (Int, Array[Double]))] i.e. 

(((1,(Array(1,2,3))),(1,Array(4,5,6))),
  ((1,(Array(1,2,3))),(2,Array(3,5,6))),
  ((2,(Array(1,2,4))),(1,Array(4,5,6))),
  ((2,(Array(1,2,4))),(2,Array(3,5,6)))
  )

请帮助我如何实现这一点

阵列((11,1*4+2*5+3*6)、(12,1*3+2*5+3*6)、(21,(1*4+2*5+4*6))(22,(1*3+2*5+4*6))

1 回复 | 直到 7 年前

akuiper 7 年前

您只需映射 笛卡尔 ,收集键并计算两个数组的内积:

rdd1.cartesian(rdd2).map{ 
    case ((k1, v1), (k2, v2)) => (k1, k2) -> v1.zip(v2).map(x => x._1 * x._2).reduce(_ + _) 
}.collect

// res5: Array[((Int, Int), Int)] = Array(((1,1),32), ((1,2),31), ((2,1),38), ((2,2),37))

推荐文章

Geoffrey · Pyspark:将数据帧保存到多个具有单个文件特定大小的镶木地板文件中

1 年前

Bruno Peixoto · Spark群集CI管道构建失败

1 年前

codebot · 将df从pandas转换为PySpark时会删除列名

1 年前

mcsilvio · 在foreach中组织联接的最佳方式是什么?

1 年前

Dhruv · 在sbt控制台上运行Spark

1 年前

Leonard · Pyspark:JSON到Pyspark数据帧

1 年前

billie class · 将列中的值重写为列表中的下一个值

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

OdiumPura · 使用JDBC(Sql server)查询tempview

2 年前