样本((x_{i}),(y_{i}))个数为(m):
[{x_{1},x_{2},x_{3}...x_{m}}
]
[{y_{1},y_{2},y_{3}...y_{m}}
]
其中(x_{i})为(n)维向量：
[x_{i}={x_{i1},x_{i2},x_{i3}...x_{in}}
]
其中(y_i)为类别标签：
[y_{i}in{-1,1}
]
其中(w)为(n)维向量：
[w={w_{1},w_{2},w_{3}...w_{n}}
]
函数间隔(r_{fi}):
[r_{fi}=y_i(wx_i+b)
]
几何间隔(r_{di}):
[r_{di}=frac{r_{fi}}{left | w
ight |}
=frac{y_i(wx_i+b)}{left | w
ight |}
]
最小函数间隔(r_{fmin}):
[r_{fmin}=underset{i}{min}{y_i(wx_i+b)}
]
最小几何间隔(r_{dmin}):
[r_{dmin}=frac{r_{fmin}}{left | w
ight |}
=frac{1}{left | w
ight |}*underset{i}{min}{y_i(wx_i+b)}
]
目标是最大化最小几何间隔(r_{dmin}):
[max{r_{dmin}}=
underset{w,b}{max}{frac{1}{left | w
ight |}*underset{i}{min}{y_i(wx_i+b)}}
]
最小几何间隔的特点：等比例的缩放(w,b),最小几何间隔(r_{dmin})的值不变。
因此可以通过等比例的缩放(w,b)，使得最小函数间隔(r_{fmin})=1,即：
[underset{i}{min}{y_i(wx_i+b)}=1
]
此时会产生一个约束条件：
[y_i(wx_i+b)geq 1
]
最终优化目标为：
[left{egin{matrix}
underset{w,b}{max}frac{1}{left | w
ight |}
\
y_i(wx_i+b)geq 1
end{matrix}
ight.
=
left{egin{matrix}
underset{w,b}{min}frac{1}{2}{left | w
ight |}^2
\
y_i(wx_i+b)geq 1
end{matrix}
ight.
]