代码之家 › 专栏 › 技术社区 › C.med

使用kafka producer发送日志文件

apache-kafka-connect kafka-producer-api apache-kafka python

C.med · 技术社区 · 5 年前

我想创建一个python脚本,将文件从虚拟机发送到kafka代理。简单来说:

局限性

我想我需要创建一个连接器?我们能重复使用类似的东西吗 connect-file-sink.properties连接文件接收器 并指定文件存储在外部计算机中的文件夹+IP: VM1

还有别的工具可以做吗?

1 回复 | 直到 5 年前

Robin Moffatt 5 年前

有很多现有的工具可以做到这一点,例如。 Filebeat 支持 output to Kafka , Fluentd 等。

这些都是简单的设置简单的配置文件。最棘手的一点可能是你的人际网络——只要确保 configured Kafka's listeners correctly .

推荐文章

yershalom · 同一消费群体中具有不同分区数量的不同卡夫卡主题

2 年前

Oskars Apinis · 将kafka从服务器迁移到docker容器

2 年前

Sravan Kumar · Apache kafka模式注册表问题

2 年前

Panadol Chong · 无法建立到节点1(localhost/127.0.0.1:9092)的连接。经纪人可能不在。甚至传入正确的端点[重复]

2 年前

MrSham · 如何确保旧版本0.10.0在卡夫卡中只处理一次

2 年前

TheTags · Kafka-PLC4X-Modbus/TCP-作业刮取期间异常

2 年前

Iheb Mar · 卡夫卡制作人/消费者粉碎每一秒的API调用

2 年前

hasherBaba · 在为Nifi编写流媒体服务时,如何解决Java的空指针异常?[闭门]

6 年前

phaigeim · 为storm consumer检查卡夫卡主题的偏移量

6 年前

Raman · Kafka流:POJO序列化/反序列化

6 年前