代码之家 › 专栏 › 技术社区 › Arnab Biswas

Apache Nifi慢速群集问题

sizing apache-nifi performance

Arnab Biswas · 技术社区 · 6 年前

我在我的一个clickstream项目中使用Apache nifi来进行一些ETL。

我周围交通繁忙 每秒300条消息 目前具有以下基础设施:

整个集群UI变得非常慢,出现以下问题

我对设置有以下问题

1 回复 | 直到 6 年前

Sivaprasanna Sethuraman 6 年前

一些建议

是的,建议使用RPG,至少从我的经验来看,RPG似乎提供了更好的分发。请看下面的[3]
一些处理器是CPU密集型的,因此没有明确的答案可以设置什么值 Concurrent Tasks 。这更多的是您必须掌握的试错或测试和微调方法。一个建议是,如果设置太多 并发任务 对于CPU密集型处理器,它将对节点产生严重影响。
Hortonworks对此做了详细的指导。我提供了以下链接。[1]

一些最佳实践和便捷指南:

推荐文章

venkata · 在Nifi中,FirstInfirstOutpriorizer和OldestFlowFileFirstPriorizer之间的区别是什么

6 年前

Sateesh Telaprolu · nifi是否支持将单个流文件传输到处理器中的多个关系?

6 年前

Arnab Biswas · Apache Nifi慢速群集问题

6 年前

Prabhu Bentick · Apache nifi和pentaho端口问题

6 年前

Atanu chatterjee · Nifi Spark集成,不使用Kafka和Pyspark

6 年前

Samuel Miller · 群集上的Nifi 1.5不受信任代理

6 年前

data_addict · 针对多个流文件的单一通知邮件Nifi

6 年前

MiamiBeach · 是否可以在WildFly上部署Apache Nifi?

6 年前

Gaurang Shah · NIFI查询数据库组织。阿帕奇。阿夫罗。SchemaParseException:COUNT(*)中的非法字符;

6 年前

watery · 如何通过MongoDB查询结果有条件地处理流文件?

6 年前