代码之家 › 专栏 › 技术社区 › theateist

切线处的解是最优解吗?

regularized gradient-descent neural-network machine-learning

theateist · 技术社区 · 6 年前

根据我的理解 this 文中,蓝圈是水平曲线,蓝点是最小化成本函数的最优解。黄色圆圈是L2范数约束。

我们需要的解决方案是尽可能地最小化成本函数,同时,也在圆圈内。意思是,解是黄色圆和水平曲线之间的切点。

但是,我的问题是,如果切点处的w值不能完全最小化成本函数,那么这是如何解决的呢?只有蓝点才是使成本函数最小化的点。

1 回复 | 直到 6 年前

Jakub Koubele 6 年前

如果没有限制,蓝点最小化成本函数。如果最小化被l2范数约束,那么蓝点就不能是一个解,因为它违反了约束。因此,w*点是解。

使用l2约束的原因是,我们试图最小化测试数据上的错误,而不是列车数据上的错误(即,我们对最小化损失函数没有直接兴趣)。较简单的解(l2范数较小)倾向于过拟合较少,因此我们期望测试和训练误差之间的差距较小(这是可取的)。

推荐文章

bz_jf · CNN训练损失太不稳定了

2 年前

ReactJs newbie · yolov4自定义培训,检测结果不正确

2 年前

Tushar Nautiyal · 我们需要在Flask应用程序中进行功能缩放吗

2 年前

Mahin Rahman · 我的培训和测试图表保持不变,有人能帮我解释一下,或者解释一下我哪里出错了?

2 年前

Mucida · BERT2:如何使用GPT2LMHeadModel开始一个句子,而不是完成它

2 年前

Bad Coder · 如何在Pyte中使用SMOTE?

2 年前

Sherwin R · 随机森林预测错误的输出形状

2 年前

Joseph · 重塑BatchDataset训练模型的输入-Tensorflow

2 年前

curiousninja · 如何从pandas中的特定列中删除非数值?

2 年前

Palkin Jangra · 如何迭代一列以获得每行的平均值?

2 年前