代码之家 › 专栏 › 技术社区 › Jsimp

如何将整个数据目录与RDS同步

aws-glue amazon-web-services python

Jsimp · 技术社区 · 5 年前

我有一个胶水爬虫是由lambda函数在每次S3上传时触发的。因此,数据目录始终与S3同步。我能够创建自动从目录上传特定表的胶水作业。如果用户上载一个包含新列的新表,我必须手动为该表创建一个新作业。有没有办法使这一手动步骤自动化?

0 回复 | 直到 5 年前

JD D 5 年前

如果您希望在爬虫程序发现新表时触发某些逻辑,我建议您考虑创建 Cloudwatch Event Rule 为了改变胶水服务的状态。特别是,当数据目录数据库或表的状态发生更改时,可以调用服务(即Lambda函数)。

此lambda函数可以检查状态更改事件,并使用其中一个sdk为新表创建作业。

推荐文章

ignorance · 从Glue Cloudformation模板划分Athena表

6 年前

markwatson · AWS Glue:如何在输出中添加具有源文件名的列?

6 年前

Marc · 如何使用AWS胶水从web服务端点提取数据开始?

6 年前

Yuriy Bondaruk · 在执行ETL作业之前,是否需要运行AWS Glue crawler来检测新数据?

6 年前

mitroberts · AWS S3 ETL工具选项

6 年前

Zeitgeist · AWS Glue:使用pyspark从脚本中获取job\u id

6 年前

villasv · 在CloudFormation上指定Glue::Crawler和JdbcTargets

6 年前

Cherry · 默认情况下,aws glue处理新数据吗?

6 年前

Girish Bhat · 如何以编程方式读取AWS Glue数据目录表架构

6 年前

Harish G. · AWS Glue java。lang.OutOfMemoryError:Java堆空间

6 年前