代码之家  ›  专栏  ›  技术社区  ›  ShaiNe Ram

如何从s3 bucket读取数据到Kinesis流

  •  2
  • ShaiNe Ram  · 技术社区  · 7 年前

    我对动觉是新手。我想将数据从s3存储桶读取到Kinesis流。我创建了一个名为“mystream”的运动流。在我的项目中,每3个月会将一条记录上载到s3。同时,我需要将记录读取到动觉流。我已经创建了Lamda用于读取文件并将其保存到RDS DB实例中。我发现在lambda项目中有一个动觉事件。这是做这件事的方法吗?请帮我拿这个。我不知道怎么开始。。如果有人能帮助我,那就太好了。。。。

    2 回复  |  直到 7 年前
        1
  •  6
  •   Mohan Shanmugam    7 年前

    如果我的理解是正确的,那么您的问题是关于如何将s3对象数据写入动觉。

    您可以在S3中为lambda创建事件通知。在事件中,可以选择事件(ObjectCreate(All)、put、post)。成功创建每个对象创建操作后,将在lambda中收到通知。在lambda事件上下文中,您可以获得每个调用的s3对象信息。

    现在,您可以读取对象信息并将其写入动觉流。

    使用Java的AWS S3和Kinesis流链接

    https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html

    https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html

        2
  •  0
  •   Aref Karimi    3 年前