代码之家 › 专栏 › 技术社区 › hawkeye

在Spark中,如何将RDD转换为RDD项之间的差异列表?

rdd apache-spark scala

-2

hawkeye · 技术社区 · 6 年前

假设我有一个整数的RDD,如下所示:

10, 20, 30, 40, 50, 60, 70, 80 ...

然后修改RDD,使其看起来像这样:

15, 25, 35, 45, 55, 65, 75, 85...

(即RDD上的每个项目都是上面两个RDD的区别。)

我的问题是:

1 回复 | 直到 6 年前

Manoj Kumar Dhakad 6 年前

你可以求助于 rdd's sliding 功能。如下所示

 import org.apache.spark.mllib.rdd.RDDFunctions._

 val rdd=sc.parallelize(List(10, 20, 30, 40, 50, 60, 70, 80))

 rdd.sliding(2).map(_.sum/2).collect

//output
res14: Array[Int] = Array(15, 25, 35, 45, 55, 65, 75)

推荐文章

davidzxc574 · 将字符串缩放为字符

2 年前

yic_l · 什么是“!”在这个函数中是什么意思?

2 年前

Jelly · Scala:用于理解递归未来

2 年前

to.mane · Scala—如何使用接收对象作为参数的构造函数创建类

2 年前

bbgghh · 在scala中连接两个列表时如何处理不匹配的键

2 年前

OdiumPura · 使用JDBC(Sql server)查询tempview

2 年前

Iheb Mar · 卡夫卡制作人/消费者粉碎每一秒的API调用

2 年前

B. Bal · 在Scala中重用类成员

2 年前

RomanGoltsov · Scala、Cassandra、Quill、Need impl logget批处理模式

2 年前

S.Hashiba · 哪个名称空间是正确的,“com.typesafe.sbt”还是“com.github.sbt”?

2 年前