如何使用来自kafka主题的大消息

Kafka Version 1.1.0

我有一个单节点kafka代理,在config/server.properties中配置如下:

代理配置:

message.max.bytes=100000000
max.message.bytes=100000000
replica.fetch.max.bytes=150000000
log.segment.bytes=1073741824 (Default)

控制台使用者属性文件具有以下配置:

消费者财产:

receive.buffer.bytes=100000000
max.partition.fetch.bytes=100000000
fetch.max.bytes=52428800

我正在生成一条大小约为20KB的消息。我使用console producer生成一个主题。然后在主题上启动一个控制台消费者,它不会使用完整的消息(中间插入)。

我已经调查过了 this post 尝试设置相同的设置,但似乎没有成功。

我错过了什么?请帮帮我。

更新:

> echo | xargs --show-limits

Your environment variables take up 3891 bytes
POSIX upper limit on argument length (this system): 2091213
POSIX smallest allowable upper limit on argument length (all systems): 4096
Maximum length of command we could actually use: 2087322
Size of command buffer we are actually using: 131072
Maximum parallelism (--max-procs must be no greater): 2147483647

更新1:

我已经测试了另一个场景。这次我使用java producer而不是console producer生成相同的消息,现在当我使用它时,我得到了完整的消息。