如何避免Spark执行器由于内存限制而丢失和纱线容器杀死它?

我有以下代码 hiveContext.sql() 大多数时候。我的任务是为所有配置单元表分区创建几个表并在处理后将值插入。

所以我先开火 show partitions 在for循环中使用它的输出,我调用一些方法来创建表(如果它不存在),并使用 hiveContext.sql .

现在,我们无法执行 hiveContext 在一个执行器中,所以我必须在驱动程序的for循环中执行它,并且应该一个接一个地串行运行。当我在YARN集群中提交这个Spark作业时,几乎所有时候我的执行器都会因为shuffle未找到异常而丢失。

现在发生这种情况是因为YARN因为内存过载而杀死了我的执行器。我不明白为什么,因为每个蜂巢分区都有一个非常小的数据集,但它仍然会导致YARN杀死我的执行器。

下面的代码是否会并行执行所有操作并同时在内存中容纳所有配置单元分区数据?

public static void main(String[] args) throws IOException {   
    SparkConf conf = new SparkConf(); 
    SparkContext sc = new SparkContext(conf); 
    HiveContext hc = new HiveContext(sc); 

    DataFrame partitionFrame = hiveContext.sql(" show partitions dbdata partition(date="2015-08-05")"); 
  
    Row[] rowArr = partitionFrame.collect(); 
    for(Row row : rowArr) { 
        String[] splitArr = row.getString(0).split("/"); 
        String server = splitArr[0].split("=")[1]; 
        String date =  splitArr[1].split("=")[1]; 
        String csvPath = "hdfs:///user/db/ext/"+server+".csv"; 
        if(fs.exists(new Path(csvPath))) { 
            hiveContext.sql("ADD FILE " + csvPath); 
        } 
        createInsertIntoTableABC(hc,entity, date); 
        createInsertIntoTableDEF(hc,entity, date); 
        createInsertIntoTableGHI(hc,entity,date); 
        createInsertIntoTableJKL(hc,entity, date); 
        createInsertIntoTableMNO(hc,entity,date); 
   } 
}