提高卡夫卡生产商吞吐量

我发现了这个 article 当我在计算我的生产商吞吐量时。杰伊·克雷普斯在信中说 producer 线程和3x同步分区复制他每秒获得421823条记录。他的记录都是100字节,他有6个分区和6个代理。他还使用了基于回调的发送,这意味着他可以保证消息的顺序。

我使用Kafka作为运行单个代理、6个分区、1X复制的服务。我发送大致相同大小的记录,每秒获得23条记录。与Jay不同的是,我使用模式注册表进行AVRO序列化。我尝试过发送Kafka Producer API提供的所有类型:

• 打电话 .get 关于未来
• 通过回调发送消息
• 不通过回调发送消息

我甚至不接近上面给出的数字。我想保证消息的顺序,所以我希望至少在记录中传递一个回调。

我知道追逐他的基准很困难,这不是我的目标。我只是觉得我遗漏了一些基本的东西。我能问一些建议吗?我将根据需要提供尽可能多的附加上下文。