感知机模型

（一）简介

1.感知机是二分类的线性分类模型，输入是特征向量，输出是类别，取+1跟-1二值；

2.感知机学习旨在求出将训练数据进行线性划分的分离超平面：

其中w是超平面的法向量，b是超平面的截距；

（二）模型

1.分离超平面将样本点分成两部分，位于法向量w所指向的一面是正样本，另一面则是负样本；

2.由输入空间到输出空间的模型函数如下：

（三）策略

1.特征空间中任意一个样本点x0到分离超平面的距离可以记为：

2.感知机的模型策略是最小化误分类样本点到分离超平面的总距离（引入yi是为了消除距离公式中的绝对值，方便后续优化算法）：

不考虑||w||的影响，最终的损失函数可以记为：

（四）算法

1.感知机算法的最优化问题如下：

采用的最优化方法是随机梯度下降法（stochastic gradient descent，SGD）；

PS：

2.算法过程：

（1）选取初值w0，b0；

（2）在训练样本中随机选取数据（xi，yi）；

（3）如果样本点（xi，yi）属于误分类点，也就是满足：

那么对w，b进行更新：

其中是步长，也称为学习率；

（4）转至（2），直至训练集中没有误分类点；

PS：（1）感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同，也就是求出的分离超平面不止一种；

        （2）感知机学习算法适用于线性可分数据集，当训练数据集线性不可分时，感知机学习算法不收敛；