代码之家 › 专栏 › 技术社区 › KayV

reduceByKey可以用于多个值吗?

sparkcore rdd apache-spark scala

KayV · 技术社区 · 6 年前

我刚刚开始学习spark和scala,并测试RDD上的一些转换和操作。

rdd.reduceByKey((x, y) => x + y)

其中,取两个相同值的元组,并使用加法运算将它们组合起来。

rdd.reduceByKey((p, q, r, s) => p+q+r+s)

为什么只加两个值?添加两个以上的值也可以节省大量计算?

1 回复 | 直到 6 年前

Fermat's Little Student 6 年前

从技术上讲,spark可以提供这样的API,但实际上并没有什么用处。

一次减少更多的值并不一定更快。如果Spark rdd是基于列的,那么这可能是真的,但是它们不是。Spark是基于行的。

推荐文章

alborzdev · 如何在PySpark中加入两个RDD?

2 年前

Vlad · 从未解析的文本字符串在spark中创建数据框

6 年前

Vinod · 跨职业和电影类型的电影收视率百分比分析

6 年前

juamd · 顺序(k,<元组>)RDD

6 年前

ka_boom · 在pyspark中链接多个groupBy

6 年前

udit · 使用scala比较两个不同的RDD

6 年前

Jerry George · 优化Pyspark代码以快速运行

6 年前

Bryce Ramgovind · PySpark-将映射函数添加为列

6 年前

Jerry George · 将和RDD转换为Spark数据帧(Pyspark)。这起作用了。但出现了新的错误

6 年前

Jerry George · 在PySpark中将StringType转换为ArrayType

6 年前