人工神经网络

人工神经网络

1、感知机

感知机模型

(widehat{y} = sign[w_dx_d + w_{d-1}x_{d-1} + ... + w_1x_1+ w_0x_0])

1. 其中(w_0 = - t, x_0 = 1)表示的是偏置因子

2. (sign)是符号函数： 它作为输出神经元的激活函数,当参数为正的时候输出1，为负的时候输出-1

3. 训练一个感知器模型就相当于不断调整链的权值((w_d,w_{d-1},...,w_1))，直到能拟合训练数据的输入输出为止。

学习感知机模型

(w_j^{k+1} = w_j^k + lambda(y - hat{y}^k))

这就是更新原来链上的每个权值，使其向能拟合训练数据的方向收敛，其中(lambda)叫做学习率

2、多层人工神经网络

相较于感知机的复杂性体现：

(1) 网络的输入层和输出层之间有可能包括多个中间层，叫做隐藏层，隐藏层中的结点叫做隐藏结点。

感知器就是一个单层的神经网络，因为它只有一个结点层(输出层)，来进行复杂的数学运算

(2) 除了符号函数之外，网络还可以使用其他激活函数，如：线性函数、Logistics函数，双曲正切函数等。

3、基于梯度下降的神经网络权值学习方法

4、反向传播算法(BP算法)

前向阶段：先正向计算出与测试数据的误差，

反向阶段：然后反向更新各层参数