代码之家 › 专栏 › 技术社区 › gustavz

什么是tensorflow中的正则化损失?

regularized tensorboard tensorflow

24

gustavz · 技术社区 · 7 年前

使用Tensorflows对象检测API训练对象检测DNN时,其可视化平台Tensorboard会绘制一个标量,名为 regularization_loss_1

这是什么?我知道什么是正则化(使网络善于通过各种方法(如辍学)进行推广),但我不清楚这种显示的损失可能是什么。

谢谢

1 回复 | 直到 7 年前

1

19

GPhilo satyendra 7 年前

TL;博士 :这只是正则化函数产生的额外损失。再加上网络的损失 优化二者之和 .

正如您正确陈述的那样,正则化方法用于帮助优化方法更好地推广。获取此信息的一种方法是添加 正则化项 到损失函数。该术语是一个通用函数,用于修改“全局”损失(如总和的 网络损耗 以及 正则化损失 )以便在所需的方向上驱动优化算法。

比方说,无论出于什么原因,我都想鼓励权重尽可能接近零的优化解决方案。然后,一种方法是将网络权重的函数(例如,权重的所有绝对值的缩小总和)添加到网络产生的损失中。自从 优化算法使全局损失最小化 ,我的正则化项(当权重远离零时,该项很高)将推动优化朝着权重接近零的解方向发展。