代码之家 › 专栏 › 技术社区 › Yann Moisan cmbaxter

UDF返回数组的更有效的输出类型是什么

apache-spark-sql apache-spark

Yann Moisan cmbaxter · 技术社区 · 6 年前

我正在使用spark sql和一个udf来计算一个类型的列 ArrayType

在性能方面,最快的输出类型是什么?

火花接受特性的任何实现 Seq 但我认为它的内部代表是 WrappedArray (变成钨)。

所以我想知道是不是最好把 Array 而不是 Vector 例如,为了避免某些编码。

1 回复 | 直到 6 年前

user9863457 6 年前

我认为它的内部表现是一个包裹物阵列(钨)。

事实并非如此。 WrappedArray (字面意思是 Array 增加以适应 scala.collection api)是外部表示。内部表示(不包括基元类型)不依赖于标准的scala API。

所以我想知道是否最好返回一个数组而不是向量,例如,为了避免某些编码。

这不会有什么不同。输出来自 udf 是逐元素完全编码的。无法避免返回值的完整副本。

如果无法使用(相当有限的)SQL API进行处理,那么您将一直使用现有的SQL API,直到更高阶的函数API被数据块打开。

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前