代码之家 › 专栏 › 技术社区 › Venkataraman R

Pypark无法启动

startup pyspark apache-spark java

Venkataraman R · 技术社区 · 6 年前

我有Windows8.1操作系统。我安装了 阿帕奇火花 然后,安装 . 我正在使用在里面窗户 .bash_profile 属于 .

export SPARK_HOME="/c/tools/spark-2.3.1-bin-hadoop2.7" 
export PATH="$SPARK_HOME/bin:$PATH"  
export JAVA_HOME="/c/Program Files (x86)/Java/jdk1.8.0_181/"

当我试着打电话的时候 Pypark公司 ,我得到的错误如下所示。

org.apache.spark网站.发射器。主

火花壳

1 回复 | 直到 6 年前

Venkataraman R 6 年前

我终于可以让pyspark在Windows下工作了,方法是遵循博客中的步骤

http://nishutayaltech.blogspot.com/2015/04/how-to-run-apache-spark-on-windows7-in.html

我不得不安装更多的工具和设置环境变量,最后使它工作。

推荐文章

Leonard · Pyspark:JSON到Pyspark数据帧

1 年前

Fran Arenas · Pyspark collect()方法在Pycharm或控制台中执行测试时给出了不同的顺序

2 年前

titutubs · 有没有一种更有效的方法来为Databricks SQL中的bin值编写代码?

2 年前

markwatson · AWS Glue:如何在输出中添加具有源文件名的列?

6 年前

juamd · 顺序(k,<元组>)RDD

6 年前

Gaurav Gupta · 如何加载多行记录的CSV文件?

6 年前

Jared · 如何在本地模式下运行的pyspark中读取S3?

6 年前

ka_boom · 在pyspark中链接多个groupBy

6 年前

ds_user · 在apache spark中复制记录计数

6 年前

ds_user · 结合类型和子类型的Apache Spark组

6 年前