代码之家 › 专栏 › 技术社区 › Michael

当使用多个gpu时,PyTorch这样的深度学习框架是如何处理内存的?

pytorch hardware gpu deep-learning

Michael · 技术社区 · 6 年前

1 回复 | 直到 6 年前

iacolippo 6 年前

如果你有两个GPU,我会使用数据并行。在数据并行中,每个GPU上都有一个模型副本,每个副本都有一个批处理。然后收集渐变并用于更新副本。

model = torch.nn.DataParallel(model, device_ids=[0, 1])
output = model(input_var)

推荐文章

Ze0ruso · 做模型。eval()在代码中的位置有什么关系?

2 年前

Joseph · 重塑BatchDataset训练模型的输入-Tensorflow

2 年前

Palkin Jangra · 如何迭代一列以获得每行的平均值?

2 年前

Ofek Nourian · 完全连通的简单自回归模型预测

2 年前

Antonin Lemoine · 用于改进颜色检测的图像处理(python)

2 年前

chao · 如何提取和存储自动语音识别深度学习应用程序生成的文本

2 年前

Jack Arnestad · 使用预训练单词嵌入对单词“池”进行分类

6 年前

user9851027 · 强化学习、深度学习和深度强化学习之间有什么区别?

6 年前

Atul Balaji · TypeError:保存时write()参数必须是str,而不是bytes。npy文件

6 年前

yuhengd · LSTM如何使用单词嵌入进行文本分类,例如在Keras中

6 年前