代码之家  ›  专栏  ›  技术社区  ›  Apurba Pandey

Apache NIFI多处理器到同一关系

  •  0
  • Apurba Pandey  · 技术社区  · 6 年前

    如下图所示,我为另一个处理器的相同关系添加了两个处理器,它将流文件平均分配到两个尾部处理器。这是预期的行为吗?如果是,那么分区是基于什么进行的?

    .

    2 回复  |  直到 6 年前
        1
  •  2
  •   Bryan Bende    6 年前

    将相同的关系发送到多个处理器并不会对流文件进行分区,而是将它们全部发送到这两个关系。当您希望将相同的数据发送到多个目的地(例如HDF和Kafka)时,通常会这样做。

    如果您希望提高putazureBlobStorage的并发性,那么您将拥有处理器的一个实例,并在处理器的“调度”选项卡中增加并发任务。

        2
  •  0
  •   Óscar Andreu    6 年前

    如果要在NIFI集群中分布负载,有不同的方法:

    • 使用kafka跨集群发送消息(任务)。
    • 使用site-2-site。
    • 使用侦听传入连接(handlehtprequest、listensyslog和listenudp)的处理器和负载平衡器推送数据。

    更多信息: https://community.hortonworks.com/articles/16120/how-do-i-distribute-data-across-a-nifi-cluster.html