代码之家 › 专栏 › 技术社区 › y2k-shubham

为Hadoop Distcp作业设置应用程序名称

distcp yarn hadoop

y2k-shubham · 技术社区 · 6 年前

我经常使用 hadoop distcp HDFS 我想喝一杯 描述性应用程序名称 为了这些工作。

目前,所有的复制作业都只显示名称 "distcp" 在 Resource Manager 没有办法区分不同的工作。

1 回复 | 直到 6 年前

y2k-shubham 6 年前

MR工具 , hadoop distcp mapred 属性 使用

-Dmapred.property.name=property-value

所以当我使用

hadoop distcp \
  -Dmapred.job.name=billing_db.replicate \
  -m 10 \
  /user/hive/warehouse/billing_db.db/ \
  s3a://my-s3-bucket/billing_db.db/

它看起来很漂亮 Resource Manager