代码之家 › 专栏 › 技术社区 › hotmeatballsoup

火花2。x数据帧或数据集?[副本]

apache-spark-dataset spark-dataframe apache-spark

hotmeatballsoup · 技术社区 · 6 年前

我的理解是大的火花1之间的变化。x和2。x是迁移离开从…起 DataFrame 采用更新/改进的 Dataset 对象。

然而,在所有 Spark 2.x docs 我明白了 DataFrames 正在使用,而不是 Datasets 。

所以我问:在Spark 2中。x我们还在使用 数据帧 ,或者让Spark的人在那里不更新2。x个文档使用较新的+推荐的 数据集集合 ?

2 回复 | 直到 6 年前

Raphael Roth 6 年前

DataFrames 是 Dataset s、只是一种特殊的 数据集 s、即 Dataset[Row] ,表示未键入 Datasets 。

但即使使用Spark 2,这也是事实。x、许多Spark用户仍然使用 DataFrame s、特别是对于快速原型设计(我就是其中之一),因为它是一个非常方便的API,而且许多操作(在我看来)更容易处理 数据帧 s比使用 数据集 s

-1

hotmeatballsoup 6 年前

很明显,你可以同时使用这两种方法,但Spark没有人愿意更新文档来展示如何使用 Datasets 所以我猜他们真的希望我们 DataFrames 就像我们在1中所做的那样。十、

推荐文章

Vladimir Kravets · 在Spark中加载CSV,类型为非标准格式

6 年前

Abir Chokraborty · 基于两列值对Spark数据集排序的有效方法是什么?

6 年前

Decrayer · 在Apache Spark数据集上应用flatMap操作时出现意外的编码器行为

6 年前

Punith Raj · spark xml中具有嵌套父节点的自定义架构

7 年前

Chuang · 在Spark dataframe udf中,像struct(col1,col2)这样的函数参数是什么类型的?

7 年前

Alex · 不使用两个联接获取第一个和最后一个项目

7 年前

Henrique Goulart · Spark数据集附加唯一ID

7 年前

Henrique Goulart · Spark数据集唯一id性能-行数与单调递增的\u id

7 年前

Jice · 将Spark RDD转换为数据集

7 年前

Jesús Zazueta · 将Spark数据集行值映射到新的哈希列

7 年前