代码之家 › 专栏 › 技术社区 › hba

Flume Kafka频道是否始终限于单个内部Kafka消费者?

flume-ng flume apache-kafka

0

hba · 技术社区 · 5 年前

基于Kafka文档:可以通过拥有多个分区的主题来提高Kafka的吞吐量,然后创建一个拥有最多与分区数量相同的使用者实例的使用者组。这样,每个使用者实例都被分配自己的分区。

我可以用多个分区创建一个主题,然后配置FlumeKafka通道使用该主题。

然而,不管主题有多少个分区,flume-kafka通道只创建一个使用者(至少基于我在flume日志中看到的内容)。

有没有一种方法可以配置Kafka通道以生成与分区相同的用户?

我猜答案是否定的,因为一个频道可能只有一个来源。

0 回复 | 直到 5 年前

1

0

mazaneicha 5 年前

据我所知,您不能将Kafka通道配置为运行多个使用者实例。但是,与其他水槽工艺不同 Kafka channels 可以配置为没有源:

卡夫卡频道可用于多种场景:

有水槽和水槽-它提供了可靠和高度活动可用频道

有Flume源和拦截器,但没有 Sink-它允许将Flume事件写入Kafka主题,供其他应用程序

带水槽,但无水源 -这是一个低延迟,故障以宽容的方式将事件从卡夫卡发送到水槽水槽,如hdfs, HBase或Solr

因此,您可以从同一主题创建几个使用同一主题的水槽通道,如果它们都配置了相同的水槽通道, kafka.consumer.group.id 它实质上在一个组中创建多个使用者实例,主题的分区将在它们之间自动平衡。