代码之家 › 专栏 › 技术社区 › jerome

筛选数据库行

apache-kafka-streams apache-kafka mysql

jerome · 技术社区 · 7 年前

我想知道卡夫卡平台是否适合以下工作。

我正在尝试摄取一个包含多个表的完整数据库。一旦被卡夫卡接受,我想根据条件过滤表的行。

我认为使用Kafka流很容易做到这一点,但是被过滤器拒绝的消息会发生什么呢?

例如,如果基于日期,将来可能会满足条件,那么是否有可能再次过滤被拒绝的邮件,以最终通过过滤器并进行进一步处理?

在向卡夫卡提供数据之前过滤数据行是否更好?

非常感谢。

1 回复 | 直到 7 年前

Hans Jespersen 7 年前

您可能需要考虑使用数据库连接器,例如Debezium或融合的JDBC源连接器,它们都基于Kafka Connect

有关MySQL的Debezium连接器的更多信息,请参阅 http://debezium.io/docs/connectors/mysql

推荐文章

Stella · Kafka流处理期间处理数据时出现异常

6 年前

Stella · kafka流中的处理器节点

6 年前

mukesh210 · 卡夫卡流:Lib Rocks数据库上的UnsatifiedLinkError

6 年前

el323 · Kafka流:通过Json日志中的键进行分组

6 年前

Suchita · 如何使用Avro反序列化器和Avro序列化器为KafkaStreams编写Junit测试用例

6 年前

Cemo · 如何获得有关GlobalKTable状态存储更新的通知?

6 年前

px5x2 · Kafka将GlobalKTable同步流传输到应用程序

6 年前

Dth · 加工机为Kafka流中的单个任务多次调用init()

6 年前

nattyddubbs · Kafka Streams多实例设计含义

6 年前

dvlcis · 如何使用卡夫卡流窗口为烛台图生成创建一条记录

6 年前