如何使用Dask在yarn上运行并行python作业?

1 ) 如何将Dask连接到Hadoop/YARN并并行化作业?
当我尝试使用时:

from dask.distributed import Client
client = Client('Mynamenode:50070') 

CommClosedError:in:Stream已关闭:尝试调用远程方法“identity”时

我应该传递名称节点或数据节点的地址吗?我可以转介动物园管理员吗?

2 ) 如何使用Dask和HDFS3从HDFS读取数据?
当我尝试使用以下命令读取文件时:

import dask.dataframe as dd
import distributed.hdfs
df = dd.read_csv('hdfs:///user/uname/dataset/temps.csv')

它会导致以下错误:

导入错误:没有名为lib的模块

我尝试卸载并重新安装hdfs3,但错误仍然存在。

我已安装

http://knit.readthedocs.io/en/latest/examples.html#ipython-parallel

此操作失败,并出现安全错误。

我没有 sudo 访问集群,因此在集群中的每个节点上安装任何软件包都是不可能的,我只能通过 conda 和 pip 在我的 userid .

最后,如果有人能在Yarn上发布Dask的工作示例,这将非常有帮助。