代码之家 › 专栏 › 技术社区 › simpadjo

支持纱线簇上的多火花分布

yarn apache-spark scala

0

simpadjo · 技术社区 · 6 年前

我在集群上通过 $SPARK_HOME/bin/spark-submit --master yarn --deploy-mode cluster .

当一个新版本的Spark上线时,我想以某种方式在集群上与旧版本一起推出一个新的分发版,然后逐步逐个迁移我的所有工作。

不幸的是,Spark依靠 $SPARK_HOME 全局变量,所以我不知道如何实现它。当scala 2.12的火花熄灭时,它将特别有用。

1 回复 | 直到 6 年前

1

2

Artur Sukhenko 6 年前

可以在纱线簇上进行任意数量的火花分布。我在我的mapr集群上做了很多次,混合了1-3个不同的版本,并在那里建立了官方的apache spark。

您只需要调整conf/spark-env.sh(重命名spark env.sh.template)并添加一行:

export SPARK_HOME=/your/location/of/spark/spark-2.1.0