为了获得更好的性能和堆内存问题,我的spark提交选项应该是什么?

我有1个驱动程序和6个核心实例,每个实例有16GB内存和8个核心。 我正在运行Spark Submit,有以下选项:

spark-submit --driver-memory 4g \
    --executor-memory 6g \
    --num-executors 12 \
    --executor-cores 2 \
    --conf spark.driver.maxResultSize=0 \
    --conf spark.network.timeout=800 job.py

我得到Java堆内存错误多次,我想有问题的选项可以有人帮我解决这个。

谢谢