AWS S3 ETL工具选项

如果您正在寻找最好的GUI,我会推荐NiFi。它通常与S3一起使用,并且有许多用于其他数据源的现成连接器。如果你想在AWS云之外做一些事情,那就更有趣了。

尽管如此,我认为胶水也能完成工作。

当您有大量AWS足迹时运行Data Factory感觉像是一种反模式。

全面披露:未与Glue/Data Factory合作,也未为NiFi背后的驱动力Cloudera工作

我目前正在使用AWS Glue将数据从DB提取到s3,处理数据并将其保存回Redshift/s3或通过API发送给我的客户端。AWS Glue GUI不是很好,你看不到流程图,有时你需要使用其他工具,如步骤函数、气流来协调你的工作。此外,我的大多数工作都必须使用PySpark,因为AWS的粘合方法太有限了。 与监控相关,您可以查看是否有错误,作业消耗了多少CPU和内存,读取/写入了s3字节。如果需要其他信息,需要使用logger或print将其发送到日志。