Kafka主题分区中的键和值avro消息分布

是的,消息在分区上的分布是由该主题上的消息键模总分区计数的散列决定的。例如,如果您要发送消息 米 带钥匙组件 千 ,到某个主题 我的主题 已经 第页 然后是分区 米 转到分区 千 .hashcode()% 第页 在里面 我的主题 是的。我想这也回答了你的第二个问题。在您的例子中,两个结果值被映射到同一个分区。

如果我的内存正确地为我服务,那么Kafka hdfs连接器应该负责从Kafka主题中消费并将其放入Hadoop hdfs中你不必担心那里的分区,它是抽象出来的。