动态列生成可以很好地执行以下操作:
import org.apache.spark.sql.functions._
import sqlContext.implicits._
import org.apache.spark.sql.DataFrame
val input = sc.parallelize(Seq(
("a", "5a", "7w", "9", "a12", "a13")
)).toDF("ID", "var1", "var2", "var3", "var4", "var5")
val columns_to_concat = input.columns
input.select(concat(columns_to_concat.map(c => col(c)): _*).as("concat_column")).show(false)
返回:
+-------------+
|concat_column|
+-------------+
|a5a7w9a12a13 |
+-------------+
我该怎么做呢
向左折叠,缩小
-同时保留动态柱生成?
我总是得到一个错误,或者返回一个空值。虽然海螺已经足够了,但我对折叠等如何工作感到好奇。