Cloudera QuickStart VM,带Spark 1.6

由于Cloudera QuickStart VM分发,几乎没有理由保持1.6。

尝试安装Spark2.2时出现了各种问题。

我现在使用的是标准的MaprV6沙盒,但不是黑斑羚。我在ClouderaQuickStartVM的日子已经过去了。

甚至当我在虚拟机中看到旧版本的Spark时,我也很惊讶。当我个人使用包裹安装Cloudera5.11时,默认的Spark版本是1.6。虽然它存在,但它可以被抑制,spark2.2包可以用于在同一个cloudera版本上启用spark2.2。自从我安装后,我就一直在无缝地使用这个组合。我使用spark从hive获取数据,并将结果保存回hive后处理内存(使用spark)。