机器学习中 margin loss 、hinge loss 和 ramp loss 的区别

对分类问题，设 (yin{-1, 1}), (mathop{sign}(f(x))) 代表分类器， 定义 (z = yf(x)) 为 margin 值。
一般来说， margin loss function 代表只需输入 margin 值即可输出 loss 的 function. 也即 (ell: mathbb R o mathbb R) or (ell(y, f(x)) riangleq ell(yf(x))), 常见的 loss 都可写成 margin loss 的这种形式，例如:

[egin{align*} ext{0-1 loss (PAC analysis)} quad&1{zle 0}\ ext{logistic loss (Logistic Regression)} quad&log(1+exp(-z))\ ext{exponential loss (Boosting)} quad&exp(-z)\ ext{hinge loss (SVM)} quad&[1-z]_+\ ext{square loss (Linear Regression)} quad& (1-z)^2\ ext{ramp loss (truncated at $s$)} quad& [1-z]_+ - [s-z]_+ end{align*} ]

以上参考:

1. ICML-19 On Symmetric losses for learning from corrupted labels
2. ICML-16 Loss Factorization, Weakly Supervised Learning and Label Noise Robustness
3. 解析卷积神经网络---深度学习实践手册 p108
4. 机器学习理论研究导引课程讲义（consistency）

但 ICML-19 Bridging Theory and Algorithm for Domain Adaptation中 特指 margin loss 为 如下 loss, 取代 0-1 loss
定义假设 (f) 在 ((x,y)) 处 margin 为： ( ho_f(x,y) = frac{1}{2}(f(x,y)-max_{y' eq y}f(x,y')))
再定义一个 ( ho)-间隔损失函数（机器学习理论研究导引讲义中基于 Rademacher 复杂度的 Boosting 间隔分析理论也提到此）如下：

[ Phi_ ho(x) riangleq egin{cases} 0 quad& hole x\ 1-x/ ho quad &0le xle ho\ 1 quad &xle 0 end{cases} ]

则 (Phi_ ho( ho_f(x,y))) 为 (f) 在样例 ((x,y)) 处的 margin loss