基于条件的多列之和

我找到了一种方法,但当我有20多列要总结时,这似乎不是一个好主意,因为它会为每一列生成一个额外的列。

想要得到的结果是:以“_val”结尾的所有列的值之和,其中值为0或1(或<2,我现在只想排除值3)

 val df1 = Seq(
  ("id1", 1, 0, 3),
  ("id2", 0, 0, 3),
  ("id3", 1, 1, 3))
  .toDF("id", "bla_val", "blub_val", "bli_val")

在sum列中包含所需结果的我的解决方案

val channelNames = df1.schema.fieldNames.filter(_.endsWith("_val"))
val ch = channelNames.map(x => col(x+"_redval"))

val df2 = df1.select(col("*") +: (channelNames.map(c =>
  when(col(c) === 1, lit(1))
    .otherwise(lit(0)).as(c+"_redval"))): _*) 

val df3 = df2.withColumn("sum", ch.reduce(_+_))
df3.show()

示例输出:

+---+-------+--------+-------+--------------+---------------+--------------+---+ | id|bla_val|blub_val|bli_val|bla_val_redval|blub_val_redval|bli_val_redval|sum| +---+-------+--------+-------+--------------+---------------+--------------+---+ |id1| 1| 0| 3| 1| 0| 0| 1| |id2| 0| 0| 3| 0| 0| 0| 0| |id3| 1| 1| 3| 1| 1| 0| 2| +---+-------+--------+-------+--------------+---------------+--------------+---+