代码之家 › 专栏 › 技术社区 › BARATH

为什么卡夫卡连接重量轻?

apache-kafka-connect apache-nifi spark-streaming streaming apache-kafka

BARATH · 技术社区 · 6 年前

我一直在与卡夫卡连接,火花流,nifi与卡夫卡流数据。

我知道与其他技术不同,kafka connect不是一个单独的应用程序,它是kafka的一个工具。

在分布式模式下,所有技术都通过底层任务或线程实现并行性是什么使卡夫卡在与卡夫卡打交道时更有效?为什么称之为“轻量化”?

1 回复 | 直到 6 年前

OneCricketeer 6 年前

它的效率和轻量级是因为它使用了内置的kafka协议,并且不需要外部系统,如yarn。虽然可以说在Mesos/Kubernetes/Docker中部署Connect更好/更容易,但它不是必需的

connect API也由核心Kafka开发人员维护,而不是那些只想简单集成到另一个工具中的人例如,上次我检查时,NiFi无法访问Kafka消息时间戳与使用合流认证连接器相比,在其他工具中处理avro模式注册表似乎是一个后遗症。

推荐文章

venkata · 在Nifi中,FirstInfirstOutpriorizer和OldestFlowFileFirstPriorizer之间的区别是什么

6 年前

Sateesh Telaprolu · nifi是否支持将单个流文件传输到处理器中的多个关系?

6 年前

Arnab Biswas · Apache Nifi慢速群集问题

6 年前

Prabhu Bentick · Apache nifi和pentaho端口问题

6 年前

Atanu chatterjee · Nifi Spark集成,不使用Kafka和Pyspark

6 年前

Samuel Miller · 群集上的Nifi 1.5不受信任代理

6 年前

data_addict · 针对多个流文件的单一通知邮件Nifi

6 年前

MiamiBeach · 是否可以在WildFly上部署Apache Nifi?

6 年前

Gaurang Shah · NIFI查询数据库组织。阿帕奇。阿夫罗。SchemaParseException:COUNT(*)中的非法字符;

6 年前

watery · 如何通过MongoDB查询结果有条件地处理流文件?

6 年前