代码之家 › 专栏 › 技术社区 › Atanu chatterjee

Nifi Spark集成,不使用Kafka和Pyspark

apache-nifi pyspark apache-spark

-1

Atanu chatterjee · 技术社区 · 6 年前

我想使用PySpark直接从Nifi输出端口读取数据到Spark流媒体(其间不使用Kafka)。我在Scala中看到的参考代码很少,使用“SiteToSiteClient”方法设置与Nifi的连接。但我无法获得任何等效的Python模块来用Python开发类似的代码。

谁能帮帮我吗?

谢谢

1 回复 | 直到 6 年前

Bryan Bende 6 年前

您需要用Python实现自己版本的SiteToSiteClient。

NiFi提供了Java实现:

推荐文章

venkata · 在Nifi中,FirstInfirstOutpriorizer和OldestFlowFileFirstPriorizer之间的区别是什么

6 年前

Sateesh Telaprolu · nifi是否支持将单个流文件传输到处理器中的多个关系?

6 年前

Arnab Biswas · Apache Nifi慢速群集问题

6 年前

Prabhu Bentick · Apache nifi和pentaho端口问题

6 年前

Atanu chatterjee · Nifi Spark集成,不使用Kafka和Pyspark

6 年前

Samuel Miller · 群集上的Nifi 1.5不受信任代理

6 年前

data_addict · 针对多个流文件的单一通知邮件Nifi

6 年前

MiamiBeach · 是否可以在WildFly上部署Apache Nifi?

6 年前

Gaurang Shah · NIFI查询数据库组织。阿帕奇。阿夫罗。SchemaParseException:COUNT(*)中的非法字符;

6 年前

watery · 如何通过MongoDB查询结果有条件地处理流文件?

6 年前