更有效地使用aws s3同步?

这个 aws s3 sync 命令有一个 --size-only 参数

从…起 aws s3 sync options :

--仅限尺寸 (布尔)使每个键的大小成为决定是否从源同步到目标的唯一标准。

如果使用相同的内容更新所有文件,则可能避免复制这些文件。

作为s3同步或cp的替代方案,您可以使用s5cmd

https://github.com/peak/s5cmd

如果大小和日期不同,它可以同步文件,并且速度高达4.6gb/s

sync命令的示例:

AWS_REGION=eu-west-1 /usr/local/bin/s5cmd -stats cp -u -s --parents s3://bucket/folder/* /home/ubuntu

S3每1000次PUT请求收取0.005美元( doc ),所以 极其 上传3000个文件不太可能让你每次构建花费2美元。也许每个2美元 白天 如果您每天运行50-100次构建,但这仍然不多。

如果您真的要为每个构建支付那么多的费用,那么您应该启用CloudTrail事件,并查看实际编写了那么多的内容(就此而言,您可能已经创建了某种递归CloudTrail事件日志)。

最终的结果是,我只想上传1或2个实际不同的文件

这些文件是您的构建生成的工件吗?如果是,为什么不添加一个显式复制它们的构建步骤呢?

我遇到的问题是在--include选项中使用通配符*。使用一个通配符很好,但是当我添加第二个*时,例如 /日志。 ,看起来sync试图下载所有要比较的内容,这占用了大量的CPU和网络带宽。