代码之家 › 专栏 › 技术社区 › Max

一个Java卡夫卡用户需要多少操作系统资源?

kafka-consumer-api connection-pooling threadpool apache-kafka java

Max · 技术社区 · 6 年前

我想用几十万 KafkaConsumer . 例如,我需要 100_000 一些架构模式的使用者。我在想,可以吗?或者我应该重构我的系统,对整个系统使用很少的消费者(例如, 10 消费者而不是 100000 )

所以,我的问题是:

有 connection pool 在卡夫卡经纪人中,还是每个消费者都与卡夫卡经纪人建立了自己的联系?
有 thread pool 在kafkaconsumer中,或者每个消费者创建自己的线程(我希望不是这样)。
每个kafkaconsumer的平均内存消耗是多少?
你觉得这种建筑模式怎么样?

0 回复 | 直到 6 年前

Giorgos Myrianthous 6 年前

1,2)使用者从一个代理请求元数据,该代理是分区的负责人。每个客户都能够处理来自单个线程的所有IO,因为Java客户端是围绕一个事件循环来设计的,该事件循环由 poll() . 您还可以构建多线程的消费者,但您需要注意偏移管理。参照 Confluent's documentation 有关Java客户端实现的更多细节。

3)根据 Apache Kafka and Confluent Enterprise Reference architecture ,

每个用户至少使用2MB,在以下情况下最多使用64MB 经纪人的大量回应(典型的是繁忙的交通)

4)你提到的消费者数量巨大,所以你需要一个很好的理由去吸引10万消费者。不过,这取决于具体情况,但即便是Netflix也应该使用的数量要比这少得多。

推荐文章

tschwab · 多个节点模块中的一个mongo连接

7 年前

NaiveCoder · DBCP连接池活动连接未关闭

7 年前

Aliaksei Stadnik · Spring引导连接池配置的最佳实践

7 年前

jonaslagoni · 多线程程序中未释放到池的连接

7 年前

leeyuiwah · 为什么HiveConnection不支持getHoldability()?将C3P0与HiveDriver结合使用

7 年前

jongseok · PoolighttpClientConnectionManager如何管理连接?

7 年前

nikli · 是DriverManager。取消注册驱动程序(driver)是否关闭所有连接?

7 年前

zDroid · Tomcat连接池,连接超时

7 年前

GuidoG · dotnet应用程序[duplicate]中的DATEFIRST()函数的作用域是什么

7 年前

ROBERT RICHARDSON · 我应该为事件处理程序保留打开的数据库连接吗?

7 年前