代码之家 › 专栏 › 技术社区 › Abir Chokraborty

寻找Spark SQL数组包含的替代解决方案

apache-spark-sql apache-spark

Abir Chokraborty · 技术社区 · 6 年前

我使用嵌套数据结构(数组)来存储Spark表的多值属性。我在Spark SQL中使用array_contains(array,value)检查数组是否包含该值,但似乎存在性能问题。一个大的火花表要花很多时间。有没有别的解决办法。

1 回复 | 直到 6 年前

Arnon Rotem-Gal-Oz 6 年前

你没有提供很多关于你到底在做什么的详细信息-如果你正在访问数组中的值很多如果可以用数组中的值添加列是有益的,例如通过使用 explode

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前