代码之家 › 专栏 › 技术社区 › Punter Vicky

ETL—将数据从oracle db推送到aws s3

etl amazon-s3 amazon-web-services

Punter Vicky · 技术社区 · 6 年前

我有一个oracle db,它有大约20个表。我想将oracle表中的数据推送到S3存储桶中。我想做这个实时或最坏的近实时。一旦提取了数据,我可能必须进行一些少量的数据转换,例如:混淆敏感数据或进行外部服务调用以标记敏感数据。我看到amazon aws glue是一个etl工具,但我不确定它是否适合此用途。

1 回复 | 直到 6 年前

Kannaiyan 6 年前

AWS Data Firehose非常适合这种情况。如果要进行转换,可以引入Lambda。每个记录都将在传递到目标之前传递到lambda,您可以引入掩蔽或将任何数据转换到目标。

数据转换: https://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html

Oracle至AWS Kinesis数据消防软管: Xplenty获取您的oracle数据并将其交付给firehose。

https://www.xplenty.com/integrations/oracle/amazon-kinesis-firehose/

希望有帮助。

无Xplenty:

您可以按照文档的说明在ORACLE下创建触发器,以触发lambda来传递记录。

https://aws.amazon.com/blogs/big-data/from-sql-to-microservices-integrating-aws-lambda-with-relational-databases/

ORACLE—Lambda(处理触发器和转换)—Firehose-- S3级

推荐文章

Anna Berezko · AWS匹配不支持的TLD域名和S3 bucket静态网站

1 年前

renzCNFT · 与s3相比,workdocs有什么优势

2 年前

Hasham · 如何将多个本地文件上载到s3中的一个文件

2 年前

sebas flores · S3 URL-使用python下载

2 年前

Jawwad Hussain · 带s3 amazaon的玛雅edms

2 年前

sklal · 在Python中从S3存储桶读取xml文件——只存储最后一个文件的内容

2 年前

Tobitor · S3:无效的bucket name-bucket name必须与正则表达式匹配

2 年前

geo909 · AWS Athena:具有非标准文件结构的S3存储桶分区表

2 年前

DEB · 上传焦油。gz文件到S3 Bucket,使用Bot3和Python

2 年前

omid · 下一个js-导出站点的目录结构

2 年前