前面介绍了Adaboost,知道了Adaboost是损失函数为指数函数的Boosting算法。那么Boosting还包括了以下几个:
损失函数名称 | 损失函数 | 算法 |
平方差(Squared error) | $frac{1}{2}(y_i-f(x_i))^{2}$ | L2 Boosting |
绝对值差(Absolute error) | $left | y_i-f(x_i) ight |$ | Gradient Boosting |
指数损失(Exponential loss) | $exp(-widetilde{y_i}f(x_i))$ | Adaboost |
对数损失(Log loss) | $log(1+exp(-widetilde{y_i}f(x_i)))$ | LogitBoost |
其中:
$f(x)=w_0+sum_{m=1}^{M}w_mphi (x)$
$widetilde{y_i}in {-1, +1}$
$y_i in {0, +1}$
除了Adaboost外,其余三个还没学习。写在这里以备后续了解boosting算法。