scala-如何在最后一个点后对子串列名?

可以使用反勾号选择名称中包含句点的列。

val df = (1 to 1000).toDF("column.a.b")

df.printSchema
// root
//  |-- column.a.b: integer (nullable = false)

df.select("`column.a.b`")

另外,您可以像这样轻松地重命名它们。基本上从当前数据帧开始,用每个字段的新列名不断更新它,并返回最终结果。

val df2 = df.columns.foldLeft(df)(
    (myDF, col) => myDF.withColumnRenamed(col, col.replace(".", "_"))
)

编辑:获取最后一个组件

要仅使用姓氏组件重命名,此正则表达式将工作:

val df2 = df.columns.foldLeft(df)(
    (myDF, col) => myDF.withColumnRenamed(col, col.replaceAll(".+\\.([^.]+)$", "$1"))
)

编辑2:获取最后两个组件

这有点复杂,可能有一种更干净的方法来写,但这里有一种方法可以工作:

val pattern = (
    ".*?"  +          // Lazy match leading chars so we ignore that bits we don't want
    "([^.]+\\.)?" +   // Optional 2nd to last group
    "([^.]+)$"        // Last group
)

val df2 = df.columns.foldLeft(df)(
    (myDF, col) => myDF.withColumnRenamed(col, col.replaceAll(pattern, "$1$2"))
)
df2.printSchema