代码之家 › 专栏 › 技术社区 › Jenia Golbstein

对于多GPU机器,“rescale\u grad”的正确值是多少?

mxnet keras deep-learning

Jenia Golbstein · 技术社区 · 7 年前

我的批量大小是512,我有8个GPU

我应该定义: 重新缩放梯度 重新缩放梯度 = 1. / (8*512)

谢谢

1 回复 | 直到 7 年前

Viacheslav V Kovalevskyi 7 年前

批量大小与计算机有关,而与GPU无关。报价(来自 here ):

工作负载分区

默认情况下,MXNet在可用的迭代每个GPU将在b/k示例上向前和向后执行。

对你来说 b 是512。因此,您应该使用 rescale_grad = 1. / 512

推荐文章

Ze0ruso · 做模型。eval()在代码中的位置有什么关系?

2 年前

Joseph · 重塑BatchDataset训练模型的输入-Tensorflow

2 年前

Palkin Jangra · 如何迭代一列以获得每行的平均值?

2 年前

Ofek Nourian · 完全连通的简单自回归模型预测

2 年前

Antonin Lemoine · 用于改进颜色检测的图像处理(python)

2 年前

chao · 如何提取和存储自动语音识别深度学习应用程序生成的文本

2 年前

Jack Arnestad · 使用预训练单词嵌入对单词“池”进行分类

6 年前

user9851027 · 强化学习、深度学习和深度强化学习之间有什么区别?

6 年前

Atul Balaji · TypeError:保存时write()参数必须是str,而不是bytes。npy文件

6 年前

yuhengd · LSTM如何使用单词嵌入进行文本分类,例如在Keras中

6 年前