代码之家 › 专栏 › 技术社区 › Shir

在Windows上使用pyspark不工作-py4j

py4j apache-zeppelin pyspark apache-spark

0

Shir · 技术社区 · 6 年前

我在Windows上安装了齐柏林飞艇 this tutorial 和 this .

我现在可以启动齐柏林飞艇服务器了,我正在试着运行这个代码-

%pyspark
a=5*4
print("value = %i" % (a))
sc.version

py4j here ),为了避免它们,我替换了 py4j型 py4j 0.10.7 .

这就是我得到的错误-

Traceback (most recent call last):
  File "C:\Users\SHIRM~1.ARG\AppData\Local\Temp\zeppelin_pyspark-1240802621138907911.py", line 309, in <module>
    sc = _zsc_ = SparkContext(jsc=jsc, gateway=gateway, conf=conf)
  File "C:\Users\SHIRM.ARGUS\spark-2.3.2\spark-2.3.2-bin-hadoop2.7\python\pyspark\context.py", line 118, in __init__
    conf, jsc, profiler_cls)
  File "C:\Users\SHIRM.ARGUS\spark-2.3.2\spark-2.3.2-bin-hadoop2.7\python\pyspark\context.py", line 189, in _do_init
    self._javaAccumulator = self._jvm.PythonAccumulatorV2(host, port, auth_token)
  File "C:\Users\SHIRM.ARGUS\Documents\zeppelin-0.8.0-bin-all\interpreter\spark\pyspark\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1525, in __call__
  File "C:\Users\SHIRM.ARGUS\Documents\zeppelin-0.8.0-bin-all\interpreter\spark\pyspark\py4j-0.10.7-src.zip\py4j\protocol.py", line 332, in get_return_value
py4j.protocol.Py4JError: An error occurred while calling None.org.apache.spark.api.python.PythonAccumulatorV2. Trace:

我在谷歌上搜索了一下,但找不到发生过这种事的人。

有人知道我怎么解决这个问题吗?

谢谢

2 回复 | 直到 6 年前

1

pvy4917 6 年前

我觉得您已经安装了Java 9或10。请卸载这两个版本中的任何一个,然后从此处安装Java 8的新副本: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

以及 在hadoop_env.cmd中设置JAVA_HOME(用任何文本编辑器打开)。

注意 :Java 8或7是使用和卸载任何现有Java版本的稳定版本。确保在javau HOME中添加JDK(而不是JRE)。

2

1

Clock Slave 6 年前

我今天也遇到了同样的问题,我通过添加 PYTHONPATH
%SPARK_HOME%\python\lib\py4j;%SPARK_HOME%\python\lib\pyspark