DW吃瓜课程——机器学习理论知识笔记（五）

本篇是针对经典教材《机器学习》及DataWhale小组出版的配套工具书《机器学习公式详解》的学习笔记，主要以查缺补漏为主，因此对于一些自己已经熟悉的概念和内容不再进行整理。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。

第六章 支持向量机

---

基本概念

在对样本进行分类时，一个基本的思路是寻找一个划分超平面，将不同类别的样本分开。如下图所示，特征共有两个维度，而黑色分割线代表了当前两类样本“正中心”的划分超平面，它受样本区间波动的影响最小，因此具有最好的泛化性能。我们设样本特征维度为d，则超平面表达式中的(oldsymbol{omega}=(omega_1;omega_2;...;omega_d))为法向量，b为偏移项，这两个参数可确定一个超平面，记为((oldsymbol{omega},b))。

样本空间中任意点(oldsymbol{x})到超平面的距离可写为:

[r=frac{|oldsymbol{omega}^T oldsymbol{x}+b |}{||oldsymbol{omega}||} ]

而图中距离超平面最近的两个类别的样本所在的平行平面分别为(oldsymbol{omega}^T oldsymbol{x}+b = -1)和(oldsymbol{omega}^T oldsymbol{x}+b = 1)（这两个公式的形式一定可以利用参数变换得到），而上方蓝色样本(oldsymbol{x_i})满足(oldsymbol{omega}^T oldsymbol{x}+b >= 1)，我们将其(y_i)值定义为+1；相应的，红色样本(oldsymbol{x_j})的(y_j)值定义为-1。其中两侧距离划分超平面最近的样本都被称为“支持向量”，二者到超平面的距离之和为：

[gamma=frac{2}{||oldsymbol{omega}||} ]

（未完待续）

参考资料：

1. 《机器学习》 周志华 著
2. 《机器学习公式详解》 谢文睿 秦州 著
3. https://www.bilibili.com/video/BV1Mh411e7VU?p=1 《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集