第五章 神经网络
5.1 神经元模型
神经网络：是由具有适应性的简单单元组成的广泛并行互连的网络，它能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是神经元模型，即上述定义中的“简单单元”。
把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。
5.2 感知机与多层网络
感知机（Perceptron）由两层神经元组成（输入层、输出层），输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”（threshold logic unit）。
感知机能容易的实现逻辑与、或、非运算。
要解决非线性可分问题，需考虑使用多层功能神经元。如下图中这个简单的两层感知机就能解决异或问题。
多层前馈神经网络（multi-layer feedforward neural networks）
每层神经元与下一层神经元完全互连，神经元之间不存在同层连接，也不存在跨层连接。
5.3 误差逆传播（error BackPropagation，简称BP）算法
BP算法的工作流程：
累积误差逆传播（accumulated error backpropagation）算法
只需要一个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。
缓解BP网络过拟合的策略：
1. 早停（early stopping）
将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同事返回具有最小验证集误差的连接权和阈值。
2. 正则化（regularization）
