代码之家 › 专栏 › 技术社区 › phaigeim

增加风暴中拓扑的分配内存

apache-storm-topology worker apache-storm memory performance

0

phaigeim · 技术社区 · 6 年前

我有一个10节点的集群,每台机器有8gb的RAM,当我运行我的拓扑结构时,分配的内存总是与工作线程的数量成正比。每个工人大约占用1 GB的内存。我想给我在storm.yaml中设置的每个工人分配2 GB worker.childopts: "-Xmx6g -Xms6g" 因为我在每个节点上运行三个工人。但是分配的内存减少到了1gb以下。

我的一个螺栓有以下错误

2 回复 | 直到 6 年前

1

2

Thanh Hoa 6 年前

你可以参考这个链接 https://github.com/apache/storm/blob/master/conf/defaults.yaml

I配置2参数:

worker.heap.memory.mb: 768
supervisor.memory.capacity.mb: 4096.0

supervisor.memory.capacity.mb =(768 x 10)其主管能力

2

1

Stig Rohde Døssing 6 年前

我觉得你的配置有点错。这个 worker.childopts 设置被传递给每个工作JVM,因此当您设置 -Xmx6g -Xms6g

推荐文章

Orange · 如何设计NodeJs worker来处理并发长时间运行的作业

7 年前

pmf · QML:WorkerScript的线程模型

7 年前

Morpheus · 如何从方法代码的某些部分取消backgroundworker

7 年前

nanci · (芹菜):在特定工人中运行任务?

7 年前

rbaleksandar · PyQT-QThread.sleep(…)在单独的线程块UI中

8 年前

Lee McAlilly · 如何使用Sidekiq将文件上传到后台?

11 年前