http://www.cnblogs.com/ranjiewen/p/8094317.html
上面网站写的很细,我还是从基础出发,只专注学习基础东西,再拓展其他的.
1.bp算法的推导.这里面还是用周志华版本的感觉比较权威.:
1.先图片:
这个图片就已经说明了正向传导的计算过程.
然后先说明需要计算参数的个数:这个是所有的线代表weights的个数,然后第二列和第三列的点,每一个都要赋值一个bias.
所以知道我们需要:n x m + m x k + m + k = (n+k+1) x m + k 个参数.需要学习.
2.说明我们的目标函数
然后列出这个式子,说明上面正向传导过后,我们反向传导的目标.
3.说明总公式.就是链式法则
4.具体计算每一个部分一共是3个.
上面这些式子都写出来就可以了.最后作为熟练那么久要记住sigmoid函数的导数是f-f方.
记忆也是:因为是分数所以有一个-f平方的概念,因为是e^x所以有一个原函数f的概念.然后两个求和即可.