常用的神经网络损失函数

参考资料：http://blog.csdn.net/nuannuanyingying/article/details/70848765

　　　　   https://www.zhihu.com/question/24827633

这里介绍较为常见的两种损失函数，分别是平方损失函数和交叉熵损失函数

1、平方损失函数

一、对输出层w的修正

假若神经网络的前向传播过程如下所示：

C表示为损失函数，那么以如下图形为例

根据反向传播链式法则过程，可以得到（y_=out1）:

 

 统一将上式中的sigmoid函数进行替换，那么上式可以简化的表示为如下：

以上的激活函数是以sigmoid为例，其中y为实际的目标值，y_为经过模型计算的目标值；

那么对w₁的修正为：w₁=w₁-δ₁x₁

 二、对隐藏层w的修正

 隐藏层的神经网络图表示如下：

那么对w5的修正可以表示为如下：

正如输出层中将

进行表示，那么上式也同样能简化的表示为如下：

笔者再次以如下图形，往后类推w9的修正：

 

通过比较上面3个不同情况下的权重修正结果（输出层、隐藏层、隐藏层），那么则可以发现反向传播的基本规律，通过循环即可获取各个参数修正。

2、交叉熵损失函数