代码之家 › 专栏 › 技术社区 › RhinoH

将公共s3存储桶同步到我的私人s3存储桶的干净方法

amazon-s3 amazon-web-services

RhinoH · 技术社区 · 2 年前

Binance通过s3端点公开了其数据。该网站是https://data.binance.vision/?prefix=data/“.他们的bucket URL是”https://s3-ap-northeast-1.amazonaws.com/data.binance.vision“.我想把他们存储桶中的所有文件下载到我自己的s3存储桶中。我可以:

抓取此网站并下载CSV文件。
制作一个URL生成器,用于构建所有URL并使用这些URL下载CSV文件。
因为他们的数据存储在s3上。我想知道是否有更干净的方法将他们的水桶同步到我的水桶。第三条路真的可行吗?

1 回复 | 直到 2 年前

Marcin 2 年前

如果要将其复制到自己的s3存储桶中,可以执行以下操作:

aws s3 sync s3://data.binance.vision s3://your-bucket-name --no-sign-request

如果你想把它复制到你自己的电脑上,放到你当前的文件夹里( . )你可以做:

aws s3 sync s3://data.binance.vision . --no-sign-request

推荐文章

Anna Berezko · AWS匹配不支持的TLD域名和S3 bucket静态网站

1 年前

renzCNFT · 与s3相比,workdocs有什么优势

2 年前

Hasham · 如何将多个本地文件上载到s3中的一个文件

2 年前

sebas flores · S3 URL-使用python下载

2 年前

Jawwad Hussain · 带s3 amazaon的玛雅edms

2 年前

sklal · 在Python中从S3存储桶读取xml文件——只存储最后一个文件的内容

2 年前

Tobitor · S3:无效的bucket name-bucket name必须与正则表达式匹配

2 年前

geo909 · AWS Athena:具有非标准文件结构的S3存储桶分区表

2 年前

DEB · 上传焦油。gz文件到S3 Bucket,使用Bot3和Python

2 年前

omid · 下一个js-导出站点的目录结构

2 年前