损失函数、正则化、优化

转：https://blog.csdn.net/oldmao_2001/article/details/90699046?from=groupmessage&isappinstalled=0

在线Latex公式

损失函数

　　计算网络预测值与真实值不一致程度的函数，以此评价当前模型的好坏。

　　交叉熵损失函数理解：https://www.zhihu.com/question/65288314/answer/244557337

正则化

　　鼓励模型以某种方式选择更简单的W拟合，而不是为了完全拟合训练集的数据选择W（往往这种方式无法良好的拟合测试集）

　　假如正在做一个回归问题，根据不同的多项式基函数，如果加入回归惩罚项（也许模型确实非常逼近高幂次多项式函数），可以让模型的幂次数降低和数据拟合的相对好。

　　一般有两种方法让模型的幂次数降低：

　　1.限制模型的边界不要更高的阶数或模型太过复杂

　　2.加入一个软性惩罚项（正则化项），使模型依然可以逼近复杂模型的效果，如果想使用复杂模型的效果必须克服这个惩罚项来使用他们的复杂性。

　　简单来说：防止网络过拟合在损失函数后添加的一个惩罚项，使网络模型尽量简单

softmax分类

　　

将类别得分exp再归一化，得到每种类别可能性（0，1），利用-log（）求损失函数Li

优化

两种方式：

1.随机优化，再根据loss的值选择权重w

2.梯度下降

1