代码之家 › 专栏 › 技术社区 › user1578872

Python将itertools.chain转换为映射

apache-spark-sql pyspark

user1578872 · 技术社区 · 3 年前

我是pyspark的新手,试图从一些产品代码中理解下面的代码。

test_map =  {"A":1,"B":2, "C":3, "D":4}
test_mapping = create_map([lit(ele) for ele in chain(*test_map.items())])

AttributeError:“非类型”对象没有属性“\u jvm”

1 回复 | 直到 3 年前

pltc 3 年前

上面的代码没有问题。事实上,它不会“运行”任何东西,因为Spark transformation是懒惰的。

这是代码的实际结果:

print(test_mapping)
# Column<'map(A, 1, B, 2, C, 3, D, 4)'>

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前