第五章 神经网络
5.1 神经元模型
神经网络:是由具有适应性的简单单元组成的广泛并行互连的网络,它能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是神经元模型,即上述定义中的“简单单元”。
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171252654-1064098828.png)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171253341-1122102995.png)
把许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络。
5.2 感知机与多层网络
感知机(Perceptron)由两层神经元组成(输入层、输出层),输入层接收外界输入信号后传递给输出层,输出层是M-P神经元,亦称“阈值逻辑单元”(threshold logic unit)。
感知机能容易的实现逻辑与、或、非运算。
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171255732-1651190192.png)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171256544-1704110630.png)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171257404-432992394.png)
要解决非线性可分问题,需考虑使用多层功能神经元。如下图中这个简单的两层感知机就能解决异或问题。
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171258669-824350872.png)
多层前馈神经网络(multi-layer feedforward neural networks)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171300138-1273066394.png)
每层神经元与下一层神经元完全互连,神经元之间不存在同层连接,也不存在跨层连接。
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171259201-1851098378.png)
5.3 误差逆传播(error BackPropagation,简称BP)算法
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171259654-1114411322.png)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171300138-1273066394.png)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171302576-324824230.png)
BP算法的工作流程:
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171305935-1361097696.png)
累积误差逆传播(accumulated error backpropagation)算法
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171306841-824954378.png)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171307404-53806053.png)
只需要一个包含足够多神经元的隐层,多层前馈网络就能以任意精度逼近任意复杂度的连续函数。
缓解BP网络过拟合的策略:
1. 早停(early stopping)
将数据分成训练集和验证集,训练集用来计算梯度、更新连接权和阈值,验证集用来估计误差,若训练集误差降低但验证集误差升高,则停止训练,同事返回具有最小验证集误差的连接权和阈值。
2. 正则化(regularization)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171307919-961237097.png)
![](https://images2015.cnblogs.com/blog/1007623/201707/1007623-20170725171308341-987045929.png)