代码之家 › 专栏 › 技术社区 › aiman

如何替换数据集<行>中的列名为新名称?

apache-spark-sql apache-spark java

aiman · 技术社区 · 7 年前

我在读数据 MongoDB 使用 Spark 作为JSON:

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
....
..    
Dataset<Row> ds = MongoSpark.load(jsc).toDF();

我需要把这个测向仪储存到蜂箱里。
问题是MongoDB中的一个列名是 Timestamp 这是“蜂巢”中的一个保留字。因此,MongoDB的JSON数据包含一个键 timestamp .
我需要替换这个JSON密钥 "timestamp" 到 "timestamp_" .
如何替换列名 “时间戳” 在里面 Dataset<Row> ds 到 “时间戳” ?

1 回复 | 直到 7 年前

Grisha Weintraub 7 年前

如果要重命名嵌套列,可以执行以下操作:

展平/分解所有结构列
重命名列
向后折叠所有列

假设您的数据集架构如下所示:

root  
      |-- col1
      |-- col2
      |-- struct1
      |    |-- timestamp
      |    |-- a  
      |    |-- b

所以你可以做以下的事情

ds = ds
        .select(col("*"), col("struct1.*"))
        .withColumnRenamed("timestamp", "timestamp_")
        .select(
                 col("col1"),
                 col("col2"),
                 struct("timestamp_", "a", "b").as("struct1")
        );

如果要重命名数组中的嵌套列,应首先使用 explode 功能。

ds = ds.select(col("a"), col("b"), explode(col("struct1")))

然后,可以按照上面的描述重命名嵌套列。如果在重命名后要将结构折叠回数组下,请使用 groupBy(...).agg(collect_list(...)) .

推荐文章

maximodesousadias · 如何根据条件删除日期后的记录

2 年前

Joe Bloggr · 如何将Dataframe类型的函数参数传递给SparkSQL查询

2 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

2 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

2 年前

user23358051 · 火花顺序优化规则

2 年前

Tristpost · 如何从我自己的Java Stream将CSV数据最好地加载到Apache Spark数据帧中?

2 年前

David Cunningham · Pyspark结构化流媒体-来自以前记录的数据

2 年前

Surender Raja · 对case语句的pyspark查询引发错误

2 年前

ConfusedDeveloper · 取消查看SPARK SQL中的列组

2 年前

nfsp412 · 当我使用spark-sql时,将出现此错误

2 年前