代码之家 › 专栏 › 技术社区 › Roelant

Tensorflow从AWS s3 bucket读取数据

amazon-s3 tensorflow python

Roelant · 技术社区 · 4 年前

我想从AWS s3 bucket流式传输我的数据文件。我正在按照描述的设置进行操作 here ,但使用tensorflow 2。

安装程序指定您可以在中使用AWS配置文件 ~/.aws/credentials ,但我也尝试使用环境变量。然而,下面的烟雾测试一直给出以下错误 tensorflow.python.framework.errors_impl.UnimplementedError: File system scheme 's3' not implemented .

from tensorflow.python.lib.io import file_io
print(file_io.stat('s3://bucketname/key/'))

0 回复 | 直到 4 年前

Roelant 2 年前

我发现自己几次回到了我的问题上。一般来说,当你遇到这种情况时,你正试图在Windows上与S3通信,而S3只在linux上实现。

我的主要建议是,在训练数据方面不要这样做。 如果可能的话,尝试下载这些文件,因为这将是值得的开销 尤其是在使用sagemaker等工具时,这些工具在启动时有非常方便的数据下载方法。如果你真的需要快速启动和;读起来很快,值得一看 FSx for Lustre .

我用过几次 smart_open 它在Windows和linux上运行良好。

from smart_open import open
with open("s3://bucket/key) as f:
   ...

推荐文章

albert · AttributeError:“str”对象没有属性“str”如何解决此问题

2 年前

Anshuman Sinha · 将tensforflow中的所有nan值转换为零

2 年前

CoccoSyn · Keras TypeError:其中一个输入没有可接受的类型。具有参差不齐张量的LSTM

2 年前

rob me of my freedom · 在不使用Y_pred和Y_actual的tensorflow中编写自定义损失

2 年前

Chris · 如何捕获导入脚本功能的打印

2 年前

Jay Bhie Santos · 剩余GRU:ValueError:输入具有不兼容的形状。收到的形状(5)和(24)

2 年前

Danijel · C中TensorFlow模型文件的路径?

2 年前

Joseph · 重塑BatchDataset训练模型的输入-Tensorflow

2 年前

Arya Anish · tensorflow安装中面临的问题

2 年前

so beautiful memory · 如何将我在本地训练的tensorflow模型正确部署到谷歌云人工智能平台?我部署了它,但没有图像返回

2 年前