机器学习003-Kernel

参考： 李航《统计学习方法》

---

​ 【定义】设X是输入空间，又设F为特征空间，如果存在一个从X到F的映射

[phi(x):X→F ]

使得所有的x,z∈X，函数K(x,z)满足条件

[K(x,z)=phi(x)·phi(z) ]

则称K(x,z)为核函数，Φ(x)为映射函数，· 为内积运算。

​ 核函数的想法是，在学习与预测中只定义核函数K(x,z)，而不显式地定义Φ。直接计算K(x,z)比较容易，而通过Φ(x),Φ(z)计算K(x,z)并不容易。

​ 【注意】特征空间F一般是高维的，对于给定的K(x,z)，F和Φ的取法并不唯一。

---

常用的核函数：

1. 多项式核函数(polynomial kernel function)

   [K(x,z)=(x·z+1)^p ]

2. 高斯核函数(Guussian kernel function)

   [K(x,z)=exp(-frac{||x-z||^2}{2sigma^2}) ]

   【个人理解】这些常用的核函数，我尚未去验证，但姑且这样理解：X->F的路径不唯一(F也可以不同)，即Φ可以有千变万化的选择，那我们只要可以从核函数推导出其中一种Φ即可验证该核函数是合理的。而为什么这些核函数比较常用，即这些核函数的特点和优点在哪里，我暂时不去研讨。

   可了解一下《统计学习方法》的“正定核”。

---

核函数的应用：

见文章《PCA与LLE的理解》中的kernel PCA

见文章《LDA的理解》中的kernel LDA