如何将EMR流作业日志复制到S3并清理EMR核心节点磁盘上的日志

我在AWS EMR 5.20上运行一个Flink(v1.7.1)流媒体作业,我希望所有任务管理器和作业管理器的工作日志都在S3中。根据Flink团队的建议使用Logback。

1. 定期复制到S3
2. 按时或按大小滚动(因为可能有大量日志)

我试过的是:

1. 在创建EMR集群时启用到S3的日志记录
2. yarn.log-aggregation-enable、yarn.nodemanager.remote-app-log-dir、yarn.log-aggregation.retain-seconds、yarn.log-aggregation-enable,
3. logback.xml中配置的滚动日志:

    <appender name="ROLLING" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.file}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>%d{yyyy-MM-dd HH}.%i.log</fileNamePattern>
            <maxFileSize>30MB</maxFileSize>    
            <maxHistory>3</maxHistory>
            <totalSizeCap>50MB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{60} %X{sourceThread} - %msg%n</pattern>
        </encoder>
    </appender>

到目前为止,我得到的/观察到的是:

• (1) 有助于定期将日志文件复制到S3
• (2) 直到现在对我来说还是没用的。日志仅在流作业结束且未观察到滚动时聚合。
• (3) 取得了一些成果,但尚未接近要求:
  • 滚动日志在某个缓存文件夹中( /mnt/yarn/usercache/hadoop/appcache/application_1549236419773_0002/container_1549236419773_0002_01_000002 )
  • 在通常的纱线日志文件夹中只有最后一个滚动日志文件可用( /mnt/var/log/hadoop纱线/容器/应用程序_1549236419773_0002/容器_1549236419773_0002_01_000002
  • S3中只有最后一个滚动日志文件可用

简而言之,在我得到的3个需求中,我只能选择(1)或(2&3)。

你能帮我做这个吗?

谢谢,并致以最良好的问候,