一、损失函数
1、0~1损失
$$L(y_{i},f(x_{i}))=egin{Bmatrix}
1 & y_{i}
eq f(x_{i})\
0& y_{i}=f(x_{i})
end{Bmatrix}$$
0~1损失简单易于理解，用于分类，如果预测的标签和数据标注的标签一致，那么就为0，否则就为1，当然，如果认为相等的要求太严苛，可以放宽要求，用实际值和预测值做差取绝对值。
$$L(y_{i},f(x_{i}))=egin{Bmatrix}
1 & mid y_{i}- f(x_{i})mid geqslant t\
0& mid y_{i}-f(x_{i})mid < t
end{Bmatrix}$$
2、平方损失函数
$$L(y_{i},f(x_{i}))=(y_{i}-f(x_{i}))^{2}$$
线性回归的损失函数
$$L(omega,x)=frac{1}{2N}sum_{i=1}^{N}(y^{i}-omega^{T}x^{i})^{2}+frac{lambda}{2}left | omega ight |^{2}$$
3、绝对损失函数
$$L(y_{i},f(x_{i}))=left | y_{i}-f(x_{i}) ight |$$
4、对数损失函数（Log loss or cross-entropy loss）
$$L(y_{i},f(x_{i}))=-logP(y_{i}|x_{i})$$
5、Hinge Loss（铰链损失函数）
$$L(y_{i},f(x_{i}))=max(0,1-y_{i}f(x_{i}))$$
6、指数损失函数
$$L(y_{i},f(x_{i}))=exp(-y_{i}f(x_{i}))$$
二、分类评判指标
| 混淆矩阵 | 预测值 | ||
| positive | negtive | ||
| 真实值 | positive | TP | FN |
| negtive | FP | TN | |
- P 所有正样本
- N 所有负样本
1、Accuracy
$$Accuracy=frac{TP+TN}{P+N}$$
2、Precision
$$Precision=frac{TP}{TP+FP}$$
3、Recall
$$Recall=frac{TP}{P}$$
4、F1
$$F1=2*frac{Precision*Recall}{Precision+Recall}$$
5、ROC
在信号检测中，ROC（receiver operating characteristic curve）是一种坐标图示的分析工具。用来挑选模型并且用来设定阈值的方法。ROC空间将FPR（伪阳率）设定为横轴，TPR（真阳率）设定为纵轴。
ROC曲线产生的过程：
- 将预测样本的概率值score由大到小排序
- 接着我们从高到低，依次将score作为threshold，将大于等于threshold的样本设为预测正样本，小于threshold的样本设定为预测负样本，然后分别计算在不同threshold下的TPR和FPR，绘制ROC曲线。
6、AUC
Roc下面积