我正在运行spark作业,并注意到在完成几个阶段后,任务会空闲一段时间,然后再次启动。
Spark版本-2.2和Java 1.8
节点总数-3(包括主节点)
核心总数-16(每个数据节点8个)
下面是我使用的spark submit命令。
spark-submit --master yarn --deploy-mode cluster --executor-memory 1G --executor-cores 2 --num-executors 6 --jars jar1 --class wordcount wordcount.jar
请找到所附的屏幕截图,显示没有活动的任务正在运行一段时间。
谢谢。
可能你有一些 group 操作和此操作的结果,您将看到分区数减少。
group