代码之家 › 专栏 › 技术社区 › Metadata

如何基于多个列重新划分数据帧?

apache-spark scala

Metadata · 技术社区 · 6 年前

我有一个dataframe:yearDF,包含以下列: name, id_number, location, source_system_name, period_year

如果我想基于列重新划分数据帧,我会:

yearDF.repartition('source_system_name')

val partition_columns = "source_system_name,period_year"

我试着这样做:

val dataDFPart = yearDF.repartition(col(${prtn_String_columns}))

cannot resolve the symbol $

我是否可以重新划分数据帧: yearDF partition_columns

1 回复 | 直到 6 年前

tricky 6 年前

Scala/Spark中的重分区函数有三种实现方式:

def repartition(partitionExprs: Column*): Dataset[T]
def repartition(numPartitions: Int, partitionExprs: Column*): Dataset[T]
def repartition(numPartitions: Int): Dataset[T]

val columns = partition_columns.split(",").map(x => col(x))
yearDF.repartition(columns: _*)

另一种方法是,逐个调用每个列:

yearDF.repartition(col("source_system_name"), col("period_year"))

推荐文章

davidzxc574 · 将字符串缩放为字符

2 年前

yic_l · 什么是“!”在这个函数中是什么意思?

2 年前

Jelly · Scala:用于理解递归未来

2 年前

to.mane · Scala—如何使用接收对象作为参数的构造函数创建类

2 年前

bbgghh · 在scala中连接两个列表时如何处理不匹配的键

2 年前

OdiumPura · 使用JDBC(Sql server)查询tempview

2 年前

Iheb Mar · 卡夫卡制作人/消费者粉碎每一秒的API调用

2 年前

B. Bal · 在Scala中重用类成员

2 年前

RomanGoltsov · Scala、Cassandra、Quill、Need impl logget批处理模式

2 年前

S.Hashiba · 哪个名称空间是正确的,“com.typesafe.sbt”还是“com.github.sbt”?

2 年前