代码之家 › 专栏 › 技术社区 › aiman

如何替换数据集<行>中的列名为新名称?

apache-spark-sql apache-spark java

aiman · 技术社区 · 6 年前

我在读数据 MongoDB 使用 Spark 作为JSON:

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
....
..    
Dataset<Row> ds = MongoSpark.load(jsc).toDF();

我需要把这个测向仪储存到蜂箱里。
问题是MongoDB中的一个列名是 Timestamp 这是“蜂巢”中的一个保留字。因此,MongoDB的JSON数据包含一个键 timestamp .
我需要替换这个JSON密钥 "timestamp" 到 "timestamp_" .
如何替换列名 “时间戳” 在里面 Dataset<Row> ds 到 “时间戳” ?

1 回复 | 直到 5 年前

Grisha Weintraub 5 年前

如果要重命名嵌套列,可以执行以下操作:

展平/分解所有结构列
重命名列
向后折叠所有列

假设您的数据集架构如下所示:

root  
      |-- col1
      |-- col2
      |-- struct1
      |    |-- timestamp
      |    |-- a  
      |    |-- b

所以你可以做以下的事情

ds = ds
        .select(col("*"), col("struct1.*"))
        .withColumnRenamed("timestamp", "timestamp_")
        .select(
                 col("col1"),
                 col("col2"),
                 struct("timestamp_", "a", "b").as("struct1")
        );

如果要重命名数组中的嵌套列,应首先使用 explode 功能。

ds = ds.select(col("a"), col("b"), explode(col("struct1")))

然后,可以按照上面的描述重命名嵌套列。如果在重命名后要将结构折叠回数组下,请使用 groupBy(...).agg(collect_list(...)) .

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前