代码之家 › 专栏 › 技术社区 › Tom

获取azure blob存储的最佳方法是什么

sca azure-blob-storage spark-dataframe apache-spark azure

Tom · 技术社区 · 6 年前

我正在使用scala和spark,需要访问azure blob存储并获取其文件列表。了解spark版本是2.11,最好的方法是什么。

1 回复 | 直到 6 年前

Ajay Kadam 6 年前

对于在本地运行的Spark,有一个官方 blog 介绍了如何从Spark访问Azure Blob存储。关键是,您需要在核心站点中将Azure存储帐户配置为与HDFS兼容的存储。xml文件并添加两个JAR hadoop azure;azure存储到您的类路径,用于通过协议wasb访问HDFS。你可以参考官方 tutorial 了解与wasb兼容的HDFS存储,以及 blog 关于HDInsight的配置更多详细信息。
对于在Azure上运行的Spark,区别在于仅使用wasb访问HDFS,其他准备工作由Azure在使用Spark创建HDInsight群集。列出文件的方法是 listFiles 或 wholeTextFiles SparkContext的

推荐文章

Vincent Doba · azure函数的有效绑定名称是什么?

2 年前

theb · 无法使用带有ActiveDirectoryServicePrincipal的JDBC连接到Azure DB

2 年前

user1610362 · Azure ServiceBus JMS库是否支持托管身份?

2 年前

mitsui · Azure provider中的AWS lambda层等效于什么?

2 年前

Surendar · 扩展azure cosmos数据库吞吐量时禁用保存选项

2 年前

Ben · 无法使用SDK运行AzureML实验-无法为pynacl构建控制盘/退出状态:1

2 年前

hmt1517 · 我们可以使用terraform在关闭状态下部署azure vm吗?

2 年前

Dinesh · 将带有wsHttpBinding的WCF服务迁移到Azure应用程序服务

2 年前

kolek · EWS要求与会者UPNs(主要名称)

2 年前

H. Pauwelyn · 使用密钥库存储ABP框架的默认连接字符串

2 年前