代码之家  ›  专栏  ›  技术社区  ›  Gary

Kafka中多个连接到不同主题的连接器将转到同一节点

  •  0
  • Gary  · 技术社区  · 6 年前

    我已经在kafka connect中创建了两个kafka连接器,它们使用相同的连接器类,但是有不同的主题。

    当我在节点上启动流程时,两个连接器最终都会在此流程上创建任务。但是,我希望一个节点只处理一个连接器/主题。如何将主题/连接器限制为单个节点我在connect-distributed.properties中看不到进程可以指定使用哪个连接器的任何配置。

    谢谢

    1 回复  |  直到 6 年前
        1
  •  0
  •   Robin Moffatt    6 年前

    分布式模式下的kafka connect可以作为一个或多个集群运行 工人 . 每个 工人 可以运行多个 任务 是的。取决于有多少 连接器 工人 你在跑步,你会有 任务 在同一条路上跑 工人 是的。这是一个深思熟虑的想法,卡夫卡连接将为你管理你的任务和工作量,跨越现有的工人。

    如果要隔离处理,可以在同一台计算机(确保使用不同的REST端口)或不同的计算机上作为单独的连接群集运行Kafka Connect。

    有关更多信息,请参见 architecture config 有关配置单独群集的步骤。请注意,集群实际上可以是一个单独的工作机,但是在发生故障时没有任何冗余。