代码之家 › 专栏 › 技术社区 › aerin

Pytorch-为什么要累积默认的.gradient模式?

pytorch

aerin · 技术社区 · 6 年前

为什么作者不让它覆盖梯度呢?有没有什么具体的理由让它不断累积?

1 回复 | 直到 6 年前

Umang Gupta 6 年前

因为如果你在向前传球中使用同一个网络两次(或相同的权重),它应该累积而不是覆盖。另外,由于pytorch计算图是由run定义的,因此累积是有意义的。看到了吗 https://discuss.pytorch.org/t/why-do-we-need-to-set-the-gradients-manually-to-zero-in-pytorch/4903/9

推荐文章

Ze0ruso · 做模型。eval()在代码中的位置有什么关系?

2 年前

rkraaijveld · sklearn的Coef。线性回归为无

2 年前

Ellis Thompson · 填充一个numpym数组以满足所需的大小

2 年前

Adam · 如何在多个模型上并行运行PyTorch推理?

2 年前

quinlan · 是dgl。nn。皮托克。GraphConv聚合边缘信息?

2 年前

Ofek Nourian · 完全连通的简单自回归模型预测

2 年前

MrThiele1708 · 运行时错误:mat1和mat2形状不能相乘(5400x64和5400x64)

2 年前

Moodhi · 计算GEC的F分数

2 年前

john wang · matlab使用可调用的python函数,但需要输入

2 年前

odbhut.shei.chhele · 如何解决错误:RuntimeError:收到0项ancdata

2 年前