0 - 算法描述
感知机算法是一类二分类算法，其问题描述为，给定一个训练数据集
$$T={(x_1,y_1),(x_2,y_2),cdots,(x_N,y_N)},$$
其中$x_iin mathbb{R}^n,y_iin{-1,1},i=1,2,cdots,N$，求参数$w,b$，使得以下损失函数极小化问题的解
$$min_{w,b}L(w,b)=min -sum_{x_iin M}y_i(wcdot x_i+b),$$
其中$M$为误分类点的集合。
下一节给出损失函数的推导过程。
1 - 推导过程
感知机算法求解的数据集必须具有线性可分性，其定义为，对于数据集
$$T={(x_1,y_1),(x_2,y_2),cdots,(x_N,y_N)},$$
其中$x_iin mathbb{R}^n,y_iin{-1,1},i=1,2,cdots,N$，如果存在某个超平面$S$
$$wcdot x + b = 0,$$
能够将数据集的正类和负类完全正确地划分到超平面的两侧，即对所有$y_i=+1$的样本$i$，有$wcdot x_i+b>0$，对所有$y_i=-1$的样本$i$，有$wcdot x_i + b < 0$，则称数据集$T$为线性可分数据集（linearly separable dataset）。
感知机算法即是求解线性可分数据集中的超平面$S$的算法。由于超平面是由$w$和$b$确定的，因此学习超平面的目标即是确定参数$w$和$b$，按照梯度下降法优化要求，需要定义一个关于参数$w$和$b$的损失函数进行优化。
注意到，损失函数被期望是连续可导的，因此不能直接选取误分类点个数作为损失函数，在感知机中，选取误分类点到超平面$S$的总距离作为损失函数。对于输入空间$mathbb{R}^n$中任意一点$x_i$到超平面$S$的距离为
$$frac{1}{left | w ight |_2}left | w cdot x_i + b ight |,$$
其次，对于误分类点来说，满足
$$-y_i(w_icdot x_i+b)>0,$$
因此可以把距离公式的绝对值替换得到
$$-frac{1}{left | w ight |_2}y_ileft ( w cdot x_i + b ight ),$$
假设超平面$S$的误分类集合为$M$，那么所有误分类点到超平面$S$的总距离为
$$-frac{1}{left | w ight |_2}sum_{x_iin M}y_ileft ( w cdot x_i + b ight ),$$
不考虑$frac{1}{left | w ight |_2}$，则感知机$sign(wcdot x+b)$的损失函数定义为
$$L(w,b)=-sum_{x_iin M}y_i(wcdot x_i+b).$$
2 - 参考资料
《统计学习方法》，李航