代码之家 › 专栏 › 技术社区 › blue-sky

何时使用学习率查找器

fast-ai gradient-descent pytorch deep-learning machine-learning

-3

blue-sky · 技术社区 · 6 年前

读报纸' 神经网络训练的循环学习率 https://arxiv.org/abs/1506.01186

如果模型过拟合,使用学习率查找器是否有意义?除了在模型过拟合之前减少迭代次数之外,使用学习查找器可以防止过拟合吗?

从阅读这篇文章中没有建议这种减少过拟合的方法,我的解释是正确的吗?

1 回复 | 直到 6 年前

Umang Gupta 6 年前

我不认为改变学习速度会减少过度适应。为了避免过拟合,您可能需要使用l1/l2正则化和退出或它的一些变体。

推荐文章

Ze0ruso · 做模型。eval()在代码中的位置有什么关系?

2 年前

rkraaijveld · sklearn的Coef。线性回归为无

2 年前

Ellis Thompson · 填充一个numpym数组以满足所需的大小

2 年前

Adam · 如何在多个模型上并行运行PyTorch推理?

3 年前

quinlan · 是dgl。nn。皮托克。GraphConv聚合边缘信息?

3 年前

Ofek Nourian · 完全连通的简单自回归模型预测

3 年前

MrThiele1708 · 运行时错误:mat1和mat2形状不能相乘(5400x64和5400x64)

3 年前

Moodhi · 计算GEC的F分数

3 年前

john wang · matlab使用可调用的python函数,但需要输入

3 年前

odbhut.shei.chhele · 如何解决错误:RuntimeError:收到0项ancdata

3 年前