Lecture4 反向传播算法

　　先放两个链接

　　https://www.zhihu.com/question/27239198/answer/89853077

　　https://www.cnblogs.com/charlotte77/p/5629865.html

参数的展开

　　在使用高级优化方法训练神经网络模型时(fminunc)，需要以向量形式传递参数，而我们在神经网络中的$ heta_{1},,, heta_{l-1}$均为矩阵形式。这是我们需要将参数展开后传入fminunc函数。相应的，在计算代价函数及梯度的函数中，我们也需要将参数改为向量形式，并在计算之前先将向量形式的参数恢复为矩阵形式。

　　具体的展开和恢复代码：

thetaVec=[Theta1(:);Theta2(:)];

Theta1=reshape(thetaVec(1:110),10,11);

梯度检测

　　实现反向传播算法经常会出现一些不易被发现的bug，为了得到期望的结果，我们在训练模型之前要先对梯度进行检测。

　　检测方法，用传统的方法计算出代价函数对每一个参数的倒数，然后与梯度进行对比，若两者近似相等，则检测通过。

　　注意：不能用传统的计算倒数的方法来训练模型，这样计算量相当大。

随机初始化

　　如果像之前那样，在进行训练之前将所有参数初始化为0，则会引起每一层内的参数及a均相同，则训练毫无意义，这称为对称权重问题 。

　　解决方法是，我们把参数设为[-ε,ε]内的随机值，设置方法为：

Theta1=rand(10,11)*(2*boundary)-boundary;

　　往往把初始化后的梯度缩到很小的范围，防止梯度弥散：https://blog.csdn.net/Mr_health/article/details/84671456

人工神经网络方法总结

　　 1.随机初始化权重（参数）。

　　2.进行前向传播，求出对于每一个样例的h(x)

　　3.求出代价函数J(Θ)

　　4.反向传播以求出梯度

　　5.将梯度与手动求的导数对比

　　6.使用梯度下降法或者高级优化方法训练模型