代码之家 › 专栏 › 技术社区 › Raghav salotra

未找到AWS EMR s3a文件系统

amazon-emr pyspark amazon-s3

Raghav salotra · 技术社区 · 6 年前

我正在运行EMR实例,它工作正常,当我试图从python spark脚本访问s3文件时,它突然出现以下错误:

py4j.protocol.Py4JJavaError: An error occurred while calling o36.json.

:java.lang.RuntimeException:java.lang.ClassNotFoundException:Class org.apache.hadoop.fs.s3a.S3AFileSystem未找到

提前谢谢。

2 回复 | 直到 6 年前

Raghav salotra 6 年前

这是一个与spark相关的问题。我不得不在park-defaults.conf中添加jars配置。

spark.jars.packages                com.amazonaws:aws-java-sdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.2

-1

stevel 6 年前

对于amazonemr,使用“s3:”前缀。S3A连接器是ASF的开源连接器;Amazon有自己的(封闭源代码)连接器,这是他们唯一支持的连接器

推荐文章

Anna Berezko · AWS匹配不支持的TLD域名和S3 bucket静态网站

1 年前

renzCNFT · 与s3相比,workdocs有什么优势

2 年前

Hasham · 如何将多个本地文件上载到s3中的一个文件

2 年前

sebas flores · S3 URL-使用python下载

2 年前

Jawwad Hussain · 带s3 amazaon的玛雅edms

2 年前

sklal · 在Python中从S3存储桶读取xml文件——只存储最后一个文件的内容

2 年前

Tobitor · S3:无效的bucket name-bucket name必须与正则表达式匹配

2 年前

geo909 · AWS Athena:具有非标准文件结构的S3存储桶分区表

2 年前

DEB · 上传焦油。gz文件到S3 Bucket,使用Bot3和Python

2 年前

omid · 下一个js-导出站点的目录结构

2 年前