Support Vector Machine (large margin classifiers )
1. cost function and hypothesis
下面那个紫色线就是SVM 的cost function



2. SVM 的数学解释


3. SVM with kernel
我的理解是 kernel 的作用就是把低维度的 x 转化成高维的 f, 然后就好分类了

note: 上图就是一个2维(x1, x2)变3维(f1, f2, f3)的例子

4. SVM in practice

想一想,上面的结论也合理,因为SVM+kernel 会把n 个feature变成 m 个feature (m>n 以便放到更高维空间), 所以如果n>m 达不到低维到高维的变换,m 太大又会造成维度太高,最适合的情况是 m 略大于 n.大概相差一个数量级,如上图例子.
note: SVM without kernel 和liner regression 只能 linear 分类, 而SVM with kernel 可以做到non-linear 分类.
Ref: