纱线如何在集群模式下了解Apache spark中的数据位置

这里的基本问题是:

纱线知道数据位置吗?

YARN“知道”应用程序告诉它什么,并且它了解集群的结构(拓扑)。当应用程序发出资源请求时,它可以包括特定的 局部性约束 ,这可能会在分配资源时得到满足,也可能不会得到满足。

如果无法指定约束,则YARN(或任何其他集群管理器)将根据其对集群拓扑的了解,尝试提供最佳的替代匹配。

那么应用程序如何“知道” ?

如果应用程序使用支持某种形式的数据位置的输入源(文件系统或其他),它可以查询相应的目录(如果是HDFS,则为namenode),以获取它想要访问的数据块的位置。

从广义上讲,Spark RDD可以定义 preferredLocations ,具体取决于 RDD 集群管理器的实现,稍后可以转化为资源约束(不一定是纱线)。