Neural network （神经网络）
A neural network is a massively parallel distributed processor made up of simple processing units that has a natural propensity for storing experiential knowledge and making it available for use. It resembles the brain in two respects:
- Knowledge is acquired by the network from its environment through a learning process.
- Interneuron connection strengths, known as synaptic weights, are used to store the acquired knowledge.
理解：神经网络模拟人的两个特点：
-
- 通过从环境获取信息进行学习；
-
- synaptic weights (突触权重）用于储存获得的信息。
Models of a neuron （神经元模型）
- 模型中有一系列的突触（synapses），也叫连结点（connection links），其特征是权重（weight）和强度（strength）。信号
j通过突触j，被w_kj加重之后，传入神经元k。 - 通过一个 adder 对输入信号进行求和。
- 通过一个 activation function 函数对输出结果的范围进行限制。例如常用的 sigmoid function。如果使用 McCulloch–Pitts 模型作为 activation function，神经元模型就变成随机模型（stochastic），带有嗓音（noise）
如果加入偏差值（bias），模型就变成：
信号流图（signal-flow graphs）
连结可以有不同的方式：
反馈机制
神经元模型中的输出结果y可以把结果反馈给输入信号：
写成数学公式就是：
参考文献：
Neural Networks and Learning Machines by Simon Haykin