用TensorFlow并行训练多个小批量GPU

我正在使用TensorFlow1.9,在一个3 GB内存的NVIDIA GPU上。我的小批量是100MB。因此,我可以同时在我的GPU上安装多个小批量。所以我的问题是,这是否可能,这是否是标准做法。

例如,当我训练TensorFlow模型时,我在每个历元上都运行这样的程序:

loss_sum = 0
for batch_num in range(num_batches):
    batch_inputs = get_batch_inputs()
    batch_labels = get_batch_labels()
    batch_loss, _ = sess.run([loss_op, train_op], feed_dict={inputs: batch_inputs, labels: batch_labels})
    loss_sum += batch_loss
loss = batch_loss / num_batches

这将遍历我的小批量,并对每个小批量执行一次权重更新。但它的大小 image_data 和 label_data 只有100MB,所以大部分GPU都没有被使用。

一种选择是增加minibatch的大小,使minibatch更接近3gb的GPU容量。不过,我想保持相同的小批量大小,以帮助优化。

因此,另一种选择可能是并行地通过GPU发送多个小批量,并对每个小批量执行一次权重更新。能够并行发送小批量将大大减少培训时间。

这是可能的并且是推荐的吗?