代码之家 › 专栏 › 技术社区 › gddxz

远程spark submit无法通过paramiko工作

spark-submit apache-spark python

0

gddxz · 技术社区 · 9 年前

我的spark程序在远程ubuntu系统中。现在我想使用paramiko(一个用于SSH2连接的python包)从windows系统执行它。

问题是我可以在远程ubuntu系统中执行python程序,但不能执行spark程序。有人知道为什么吗?

1 回复 | 直到 9 年前

1

0

FaigB 9 年前

很可能你应该设置spark环境变量。在要启动spark应用程序的远程实例上,在.bashrc文件中输入spark

SPARK_HOME=*<path to your spark folder>*

export PATH=$SPARK_HOME/bin:$PATH

然后通过命令获取更改后的.bashrc文件的源代码

source  ~/.bashrc

推荐文章

user3521180 · 执行python文件时使用spark submit的CLI参数

8 年前

Atais · 传递系统属性以触发从类路径或自定义路径提交和读取文件

9 年前

gddxz · 远程spark submit无法通过paramiko工作

9 年前