代码之家 › 专栏 › 技术社区 › Srinivas

aws集群中的核心

spark-streaming apache-spark amazon-web-services

-1

Srinivas · 技术社区 · 6 年前

我使用的是10核r4.8XL集群。AWS文件 https://aws.amazon.com/ec2/virtualcores/ 表示r4.8XL的每个EC2实例类型都包含16个虚拟核心计数。问题1。这是否意味着有160个并行内核(每个执行器16个内核)。由此我也问,一个核心=一个火花执行器?问题2。Spark文档说

The number of cores allocated to the Spark Streaming application must be more than the number of receivers. Otherwise the system will receive data, but not be able to process it.

问题2。如果我要为我的spark流媒体工作创建15个接收器,我应该将spark.executor.cores设置为15或更高。还是应该将集群的核心总数从10个增加到15个?

1 回复 | 直到 6 年前

bp2010 6 年前

回答问题2:

你可以设定 spark.dynamicAllocation.enabled 到 true (这是 false 默认情况下)要动态分配执行器,在EMR上运行时,最好利用这一点。

读一下吧 here 和 here

推荐文章

data_pikachu · 班级组织。阿帕奇。hadoop。财政司司长。s3a。啊。尝试从Spark在S3存储桶上写入数据时,未找到IAMInstanceCredentialsProvider

2 年前

sharon gur · Kafka spark同步流处理作业

6 年前

vijay · Spark streaming作业日志大小溢出

6 年前

Pawan · Spark Streaming中setJars()方法的输入应该是什么

6 年前

Frank · Spark Streaming kafka偏移量管理

6 年前

a.moussa · 线程“main”java中出现异常。lang.NoClassDefFoundError:org/apache/spark/streaming/StreamingContext

6 年前

Francesco · 在Spark Streaming中将StreamingContext与接收器分离

6 年前

maxness · Spark将Kafka输入流另存为Json文件

6 年前

maxness · Spark streaming:错误StreamingContext:无法构造kafka使用者

6 年前

Yuriy Bondaruk · 具有多个加密密钥提供程序的EMR

6 年前