Classification:
1、0-1
1）普通01损失函数
针对于二分类问题，Y = {-1, 1}, f为预测结果，f应该是一个连续值，没有经过激励函数加工的数，如果 fy <= 0 为负
该损失函数能够直观的刻画分类的错误率，但是由于其非凸、非光滑的特点，使得算法很难直接对函数进行优化。
2）Hinge损失函数
对0-1损失函数的扩展，hinge损失函数，即svm中的折页损失函数
L( f, y) = max {0, 1 - fy}
hinge对分类结果有了进一步的限制，它增加了一个margin, 也就是 如果 f 在[0, 1) 它并不认为是属于 1 类的，只有 f >= 1时才认为是正类
hinge损失函数在fy=1处不可导，因此不能用于梯度下降法进行优化，（想知道svm是怎么做的）， 而是采用次梯度下降法
2、Logistic
白面上管这个较Logistic,但是感觉就是交叉熵损失函数的扩展，不懂。
参考博客：https://blog.csdn.net/red_stone1/article/details/80735068
1）对于分类是01的交叉熵损失函数：
设g(y)表示sigmod函数，它代表的就是y被分类成1的概率，对于01分类问题来说，
表示分为1类的概率，则分类为0的概率就是：
结合上述两个式子，可以得出x样本最后的分类情况为
，对这个式子取log（为什么取log,应该是和最大似然挺相似的，在不改变单调性的基础下，计算方便），得到
，这是一个样本，如果是多个样本那就进行累加操作。
直观理解，当y是1时，损失函数就是一个log函数，越接近1越小，当y是0时，第一项不存在，当预测结果越接近0，loss越小，可以参考博客
2）交叉熵的扩展 分类为（-1， 1）
对于sigmod函数又这样一个性质， g(-t) = 1 - g(t)
所以，p(y = 1 | x) = g(t), p(y = -1 | x) = 1 - g(t) = g(-t), 故可以总结出 p(y | x) = g(ys), s表示预测值，然后再取log, 让概率最大，可以转换成 取负数后最小，即
最后转换成：
3、cross entropy
百面P143交叉熵不知道怎么推出来的？！
4、指数损失函数
参考西瓜书
Regression
1、平均绝对值误差（MAE)
特点： 受异常点的影响较小，简单，更好的反应实际情况
缺点：不光滑，不能用梯度下降求解
2、Huber损失函数
对绝对值的一种改进， 当 误差绝对值 在一个很小的范围中采用均方误差， 当大于这个范围时 取绝对值，这样可以避免异常点的影响
橘黄色代表Huber，绿色代表均方误差，蓝色代表绝对值
2、均方误差（MSE）
受异常点影响大，可以用梯度下降求解
3、均方根误差（RMSE）
均方误差的算数平方根