管道化hadoop map reduce作业

JobControl 将这些作业链接在一起的最简单方法。对于更复杂的工作流,我建议签出 Oozie .

您好! 我也有类似的要求 一种方法是

提交第一个作业后执行以下操作

Job job1 = new Job( getConf() );
job.waitForCompletion( true );

然后使用检查状态

if(job.isSuccessful()){
    //start another job with different Mapper.
    //change config
    Job job2 = new Job( getConf() );
}

Oozie是你的解决方案。您可以通过Oozie的action标签提交map-reduce类型的作业、hive作业、pig作业、系统命令等。

另一种可能性是 Cascading

动作A:i/p输入o/p A

行动B:i/p a o/p B

动作C:i/p b o/p C(最终输出)

您最终可以在HDFS中持久化c,并决定持久化或删除中间输出。

https://tech.flipkart.com/expressing-etl-workflows-via-cascading-192eb5e7d85d