代码之家 › 专栏 › 技术社区 › Masterbuilder

使用静态名称值spark

apache-spark-sql

Masterbuilder · 技术社区 · 6 年前

我有一个带有两个数组列的数据帧,

+---------+-----------------------+
|itemval  |fruit                  |
+---------+-----------------------+
|[1, 2, 3]|[apple, banana, orange]|
+---------+-----------------------+

我正在尝试压缩它们并创建一个名称-值对

+---------+-----------------------+--------------------------------------+
|itemval  |fruit                  |ziped                                 |
+---------+-----------------------+--------------------------------------+
|[1, 2, 3]|[apple, banana, orange]|[[1, apple], [2, banana], [3, orange]]|
+---------+-----------------------+--------------------------------------+

然后转到json,to-json输出的格式如下

+---------------------------------------------------------------------------+
|ziped                                                                      |
+---------------------------------------------------------------------------+
|[{"_1":"1","_2":"apple"},{"_1":"2","_2":"banana"},{"_1":"3","_2":"orange"}]|
+---------------------------------------------------------------------------+

我期待的格式是这样的

 +---------------------------------------------------------------------------+
    |ziped                                                                           |
    +---------------------------------------------------------------------------+
    |[{"itemval":"1","name":"apple"},{"itemval":"2","name":"banana"},{"itemval":"3","name":"orange"}]|
    +---------------------------------------------------------------------------+

这是我的实现

val df1 = Seq((Array(1,2,3),Array("apple","banana","orange"))).toDF("itemval","fruit")
df1.show(false)
def zipper=udf((list1:Seq[String],list2:Seq[String]) => {
   val zipList = list2 zip list1  
 zipList

)
df1.withColumn("ziped",to_json(zipper($"fruit",$"itemval"))).drop("itemval","fruit").show(false)

1 回复 | 直到 6 年前

Masterbuilder 6 年前

这就是我的解决方案。使用新值创建架构并将其强制转换为列

val schema = ArrayType(
  StructType(
    Array(
      StructField("itemval",StringType),
      StructField("name",StringType)
    )
  )
)

val casted =zival.withColumn("result",$"ziped".cast(schema))
casted.show(false)
casted.select(to_json($"result")).show(false)

输出将是

casted:org.apache.spark.sql.DataFrame
ziped:array
element:struct
_1:string
_2:string
result:array
element:struct
itemval:string
name:string

+-----------------------------------------------------------------+
|structstojson(result)                                            |
+-----------------------------------------------------------------+
|[{"itemval":"3","name":"orange"},{"itemval":"2","name":"banana"}]|
+-----------------------------------------------------------------+

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前