代码之家 › 专栏 › 技术社区 › Karnivaurus

数据集太大而无法放入RAM的培训

tensorflow

Karnivaurus · 技术社区 · 6 年前

我使用TensorFlow在一个非常大的数据集上进行训练,这个数据集太大,无法放入RAM。因此,我已将数据集拆分为硬盘上的多个碎片,并使用 tf.data.Dataset 类将碎片数据加载到 tf.placeholder 在GPU内存中。为了在这些碎片上训练,我考虑了两种方法,但我不知道哪种方法是最佳实践。他们是:

1) 对于每个epoch,依次加载每个数据集shard,并在每个shard上训练一次迭代。

2) 对于每个epoch,依次加载每个数据集shard,然后在每个shard上进行多次训练。

1)的问题是,从硬盘加载每个数据集碎片需要很长时间,而且由于每个碎片只在每次迭代中进行训练,因此加载此数据所花费的总训练时间占很大一部分。然而,2)的问题是,连续多次在同一个碎片上进行训练将使优化更可能收敛到局部最小值。

建议采用哪种方法?

1 回复 | 直到 6 年前

Ed Bordin 6 年前

Dataset类绝对是为数据的用例而设计的,这些数据太大,无法放入RAM中。如果您还没有看过性能指南,那么它是值得一读的: https://www.tensorflow.org/performance/datasets_performance

我想先看看 prefetch 数据读取代码后+ prefetch to device 在数据集管道的末尾,可以帮助隐藏ETL过程的“提取”阶段的延迟。

我还建议重新排列文件加载的顺序,并使用Dataset shuffle ops来避免您描述的局部最小值-理想情况下,示例也应该以随机顺序开始。如果您当前正在使用python代码加载数据,则可能需要考虑将数据预处理为TFRecord格式,以便您可以从TFRecordDataset的本机性能中获益。

其他有用的信息:

你是在单机上训练还是在集群上训练?
数据格式是什么?当前如何加载?

推荐文章

albert · AttributeError:“str”对象没有属性“str”如何解决此问题

2 年前

Anshuman Sinha · 将tensforflow中的所有nan值转换为零

2 年前

CoccoSyn · Keras TypeError:其中一个输入没有可接受的类型。具有参差不齐张量的LSTM

2 年前

rob me of my freedom · 在不使用Y_pred和Y_actual的tensorflow中编写自定义损失

2 年前

Chris · 如何捕获导入脚本功能的打印

2 年前

Jay Bhie Santos · 剩余GRU:ValueError:输入具有不兼容的形状。收到的形状(5)和(24)

2 年前

Danijel · C中TensorFlow模型文件的路径?

2 年前

Joseph · 重塑BatchDataset训练模型的输入-Tensorflow

2 年前

Arya Anish · tensorflow安装中面临的问题

2 年前

so beautiful memory · 如何将我在本地训练的tensorflow模型正确部署到谷歌云人工智能平台?我部署了它,但没有图像返回

2 年前