我们新的卡夫卡星系团的空间耗尽速度快于预期,因此我采取了一些措施来缓解:
1)我为所讨论的主题打开了snapy压缩:这是在代理端通过“kafka topics--config compression.type=snappy”命令完成的,以免中断生产者
2)我将集群中kafka节点的数量增加了一倍
3)我重新平衡了集群。
这些步骤奏效了,我们赢得了一些时间。我知道[1]只适用于新生成的数据,但我想知道,当分区到达新的代理时,重新平衡到新节点的分区是否会被压缩,或者它们是否会保留其原始形式(没有生产者压缩,所以他们都没有压缩)。旧的节点上还有其他一些东西,这使得很难从简单的磁盘使用情况分析中推断出来。