代码之家 › 专栏 › 技术社区 › Omer

Apache气流分布式处理

airflow-scheduler apache-airflow airflow oozie hadoop

Omer · 技术社区 · 7 年前

我对Apache Airflow的架构感到困惑。

在oozie中执行hql或sqoop语句时,oozie将请求定向到数据节点。

我想在Apache Airflow中实现同样的效果。我想执行shell脚本、hql或sqoop命令,并且我想确保我的命令是由数据节点分布式执行的。气流有不同的执行器类型。为了在不同的数据节点中同时运行命令,我应该做什么?

2 回复 | 直到 7 年前

x97Core 6 年前

似乎您希望在分布式工作者上执行任务。在这种情况下,请考虑使用 CeleryExecutor .

工人。为此,您需要设置芹菜后端 (RabbitMQ,Redis,)并改变气流。cfg指向执行者参数,并提供相关芹菜设置。

Amit Kumar 6 年前

推荐文章

ÐÐ½Ð´ÑÐµÐ¹ Ð¡Ð¼Ð¸ÑÐ½Ð¾Ð² · 通过xplpath从xml加载字段时出现问题

2 年前

Mayank Bandral · pig中下面提到的数据的模式应该是什么?

6 年前

aiman · Hive-2.3.2 metastore with MySQL无法启动

6 年前

OOvic · Spark Java API中的连接行数据集

6 年前

enodmilvado · avahi守护程序是否应该在hadoop群集计算机上运行?

6 年前

LearningNinja · 火花执行人。spark submit中忽略了extraJavaOptions

6 年前

ForeverLearner · 当我在Hive中使用OpenCSVSerde时,为什么所有列都被创建为字符串?

6 年前

tooptoop4 · apache ranger with hive插件-需要持久化哪些对象

6 年前

Rupesh More · 合流HDFS接收器连接器:如何配置自定义hadoop用户和组?

6 年前