zoukankan      html  css  js  c++  java
  • 模型评价与损失函数

     模型评价

    第二章:模型评价与损失函数

    • 要点一: 逻辑回归模型对样本的预测取决于权值向量偏置

    • 概念:

      序号概念解释
      1 训练集 包含真实类别标签的样本集
      2 训练 根据训练集寻找最优参数的过程
      3 损失函数 是模型参数的函数,用于衡量模型参数的优劣

       

    • 逻辑回归预测样本x = (x1 ,x2, x3,……,xn)T 属于正类的概率 P

      f(x) =

      • 其中,w和b是模型的参数,训练的过程就是寻找这两个参数。

     

    • 混淆矩阵

       预测负类预测正类
      真实负类 TN FP
      真实正类 FN TP

       

    • 正确率

      • 正确率的计算公式:

        accuracy =

        正确率是模型预测正确的样本数与总样本数之比。其并不总是可靠的,例如正例:负例=99:1,预测结果为全 正,此时的正确率为99%。

    • 查准率:

      • 又称准确率(precision),公式如下:

        (正类)

        (负类)

        由公式可知,正确预测正类样本数量和预测正类样本总数量之比。负类同。

    • 查全率:

      • 查全率又称召回率:recall

        此公式意味着,预测为正类的样本数与全部正类样本数之比。又称真阳率TPR,true positive rate)与之相对应的有假阳率FPR,false positive rate):

    • ROC曲线

      • 在逻辑回归中,假设我们已经得到了一组w与b,所以我们可以把测试集中的数据代入f(x)进行预测,代入函数后我们得到的是一个介于0和1之间的一个数,为了实现预测,我们需要一个阈值,我们将f(x)大于阈值的测试数据视为正类,否则为负类。

      • 所以阈值的选取将直接的影响到我们的逻辑回归模型的好坏。

      • 假阳率FPR与真阳率这对指标随阈值变化同升同降。高TPR和低FPR是我们希望的。

      • ROC曲线如图

      • img

      • 以FPR为横轴、TPR为纵轴,将不同阈值对应的ROC曲线画出来。ROC曲线上拱越高,说明在较低处的FPR处有更高的TPR。

      • ROC曲线下的面积,AUC(area under curve)可以衡量模型的质量。

     

     

    下一节将发布损失函数的计算方法

    后续还有梯度下降法求解逻辑回归,梯度下降法的改进等内容,届时为大家奉上手写逻辑回归代码

    感谢关注

     

     

  • 相关阅读:
    在变量中如何插入变量
    perl 模块
    perl中的引用
    数组:pop&清空数组&查找某元素是否在数组内
    整个文件做为一个数组
    checkbox判断选中
    网页存储倒计时与解决网页cookie保存多个相同key问题
    wmframework v2.0 手册(一)系统框架介绍
    r cannot be resolved to a variable android
    锁定Chrome的下载文件夹快捷方式到win7任务栏
  • 原文地址:https://www.cnblogs.com/ambdyx/p/11883453.html
Copyright © 2011-2022 走看看