代码之家  ›  专栏  ›  技术社区  ›  Sekhar

为什么在运行Spark作业时任务会空闲一段时间

  •  2
  • Sekhar  · 技术社区  · 6 年前

    captured screenshot from Executors tab

    我正在运行spark作业,并注意到在完成几个阶段后,任务会空闲一段时间,然后再次启动。

    Spark版本-2.2和Java 1.8

    节点总数-3(包括主节点)

    核心总数-16(每个数据节点8个)

    下面是我使用的spark submit命令。

    spark-submit --master yarn --deploy-mode cluster --executor-memory 1G --executor-cores 2 --num-executors 6 --jars jar1  --class wordcount wordcount.jar
    

    请找到所附的屏幕截图,显示没有活动的任务正在运行一段时间。

    谢谢。

    1 回复  |  直到 6 年前
        1
  •  0
  •   DaunnC    6 年前

    可能你有一些 group 操作和此操作的结果,您将看到分区数减少。