代码之家  ›  专栏  ›  技术社区  ›  SourceSimian

Kafka是否对传输分区的重新平衡应用压缩

  •  0
  • SourceSimian  · 技术社区  · 6 年前

    我们新的卡夫卡星系团的空间耗尽速度快于预期,因此我采取了一些措施来缓解:

    1)我为所讨论的主题打开了snapy压缩:这是在代理端通过“kafka topics--config compression.type=snappy”命令完成的,以免中断生产者

    2)我将集群中kafka节点的数量增加了一倍

    3)我重新平衡了集群。

    这些步骤奏效了,我们赢得了一些时间。我知道[1]只适用于新生成的数据,但我想知道,当分区到达新的代理时,重新平衡到新节点的分区是否会被压缩,或者它们是否会保留其原始形式(没有生产者压缩,所以他们都没有压缩)。旧的节点上还有其他一些东西,这使得很难从简单的磁盘使用情况分析中推断出来。

    1 回复  |  直到 6 年前
        1
  •  1
  •   amethystic    6 年前

    在分区重新分配期间,记录将被压缩并写入新的代理。