Spark中与数据节点相关的“总执行器核心”参数

另一个我很少读到的项目。

把S3放在一边,而不是现在的位置来尝试裸金属经典。 数据局部性 接近Spark、Hadoop,而不是动态资源分配模式,然后:

• 如果HDFS中的一个大数据集分布在集群中的(全部)n个数据节点上,但总的执行器核心参数设置为低于n,并且我们需要读取明显(全部)n个相关数据节点上的所有数据,会怎么样?

• 我假设spark必须忽略这个参数才能从hdfs中读取数据。或不是?

• 如果忽略了它,则需要在该数据节点上分配一个执行器核心,从而由整个作业获取,因此需要将该参数解释为处理而不是读取块的意思?

• 来自这样一个数据节点的数据是否立即转移到分配执行者的位置?

事先谢谢。