代码之家 › 专栏 › 技术社区 › Soheil Pourbafrani

纱线指定在哪个节点管理器上运行哪个应用程序

apache-flink hadoop-yarn apache-spark hadoop

Soheil Pourbafrani · 技术社区 · 6 年前

我有一个Hadoop纱线集群,包括一个resourcemanager和6个NodeManager。我想在集群上同时运行Flink和Spark应用程序。关于纱线,我有两个主要问题:

如果是Spark,我应该在资源管理器和每个节点管理器上安装和配置Spark吗?当我想提交一个关于纱线的Spark应用程序时,除了纱线资源管理器和节点管理器之外,是否应该运行Spark集群(主集群和从集群)?
我可以设置纱线,以便在一些特殊的节点管理器中运行Flink吗?

谢谢

1 回复 | 直到 6 年前

tk421 6 年前

对于第一个问题,这取决于您是否使用打包的Hadoop发行版(例如Cloudera CDH、Hortonworks HDP)。发行版可能会处理这个问题。如果您不使用发行版,您需要考虑是要在纱线上运行Spark还是单独运行Spark。

对于第二个问题,如果您使用的是启用了节点标签功能的容量调度器,并且使用的是Hadoop 2.6及更高版本,则可以指定特殊的节点管理器。

推荐文章

ÐÐ½Ð´ÑÐµÐ¹ Ð¡Ð¼Ð¸ÑÐ½Ð¾Ð² · 通过xplpath从xml加载字段时出现问题

2 年前

Mayank Bandral · pig中下面提到的数据的模式应该是什么?

6 年前

aiman · Hive-2.3.2 metastore with MySQL无法启动

6 年前

OOvic · Spark Java API中的连接行数据集

6 年前

enodmilvado · avahi守护程序是否应该在hadoop群集计算机上运行?

6 年前

LearningNinja · 火花执行人。spark submit中忽略了extraJavaOptions

6 年前

ForeverLearner · 当我在Hive中使用OpenCSVSerde时,为什么所有列都被创建为字符串?

6 年前

tooptoop4 · apache ranger with hive插件-需要持久化哪些对象

6 年前

Rupesh More · 合流HDFS接收器连接器:如何配置自定义hadoop用户和组?

6 年前