代码之家 › 专栏 › 技术社区 › Jaime Caffarel Daniel Koverman

kafka SourceTask类的poll()方法是否线程安全?

apache-kafka-connect apache-kafka

Jaime Caffarel Daniel Koverman · 技术社区 · 7 年前

我正在使用 Kafka Connect 以分布式模式将数据从Web服务发送到Kafka(版本0.10.1)。这个 poll() method 文件表明:

数据目前可用。

轮询() 方法可以由Kafka的多个线程调用。对Web服务的请求非常耗时,它们是用这种方法完成的,我希望避免多次发送它们。

有一个 question 轮询() 方法可以由不同的线程调用。然而,从 release notes 我无法确认这种情况是否在新版本上没有发生。

1 回复 | 直到 7 年前

Randall Hauch 7 年前

从框架的角度来看,Kafka Connect任务不需要是线程安全的,并且任务不应该假设它们可以通过静态机制与其他任务和连接器通信。请注意,当然可能有多个任务在不同的线程中运行。

SourceTask 和 SinkTask 实例是从专用于该任务的线程调用的。在任务实例的生存期内使用相同的线程,直到其停止。即使任务暂停,线程也会阻塞。

推荐文章

Vaibhav Sharma · 使用Servlet连接KafkaProducer

7 年前

Evaldas Buinauskas · Kafka Connect将JSON字符串转换为实际JSON

7 年前

Nandish Kotadia · 我可以编写自定义kafka connect转换来将JSON转换为AVRO吗?

7 年前

Cody Ferguson · PubSub-Kafka连接节点连接文件结束异常

7 年前

Jaime Caffarel Daniel Koverman · kafka SourceTask类的poll()方法是否线程安全?

7 年前

Warsame · confluent-3.2.0 S3连接器默认分区设置

7 年前

Prajakta Kulkarni · 如何从flink访问/读取卡夫卡主题数据?

7 年前

Renukaradhya · Kafka Connect:在分布式模式下创建新连接器就是创建新组

7 年前

LaserJesus · 为什么Kafka分布式连接器在我创建它的节点被杀死时死亡?

7 年前

Rushabh Shah · 如何在Windows 7上使用Kafka Connect,因为我看不到独立连接或分布式连接。kafka 2.10.0.1中/bin/Windows文件夹下的bat?

8 年前