代码之家 › 专栏 › 技术社区 › Rupesh More

合流HDFS接收器连接器:如何配置自定义hadoop用户和组?

confluent-platform apache-kafka-connect hdfs hadoop

0

Rupesh More · 技术社区 · 7 年前

我们目前正在docker容器中使用Confluent HDFS Sink Connector平台将数据从Kafka(单独的Kafka集群)写入HDFS(单独的Hadoop集群)。默认情况下,连接器平台使用根用户和轮组如何配置连接器以使用特定的hadoop用户/组?是否需要在docker中设置环境变量? 谢谢

1 回复 | 直到 7 年前

1

0

OneCricketeer Gabriele Mariotti 7 年前

Docker容器中的Java进程作为根运行。

您需要使用自己的用户帐户创建自己的容器,或者以其他方式将Connect Workers作为不同的Unix帐户运行。

您可以尝试设置 HADOOP_IDENT_USER 或 HADOOP_USER_NAME 环境变量,但我认为这些仅由Hadoop脚本拉取,而不是Java API拉取

请记住,如果您没有使用Kerberized集群,Hadoop中的用户帐户实际上并不重要

推荐文章

Donat Fetisov · Streamset数据采集器从Kafka读取错误时间

7 年前

Maxkb24 · RdKafka Avro消费者

7 年前

Renukaradhya · Kafka Connect:在分布式模式下创建新连接器就是创建新组

8 年前

clay · 用于Kafka的Confluent Python API

8 年前