zoukankan      html  css  js  c++  java
  • Classification week6: precision & recall 笔记

    华盛顿大学 machine learning :classification  笔记

    第6周 precision & recall

    1.accuracy 局限性

      我们习惯用 accuracy 评价一个分类器模型的准确程度,accuracy即正确预测的样本数/预测样本总数, 一般情况下这种评价都适用。

      但假设一个这样的二分类器,95%的数据都是 +1 ,分类器直接把所有数据预测为 +1,那这个分类器的accuracy 95%, 很高,但显然这不是个好的分类器。对于这样的数  据,评价一个分类器模型准确程度还需别的评价标准。

    2.True Positive & False Positive & False Negative & True Negative

      对于一个二分类器,预测结果可能有以下几种情况:

      True Positive: 实际为 +1,预测也为 +1。

      False Positive: 实际为 -1,预测为 +1。

      False Negative: 实际为 +1,预测为 -1。

      True Negative: 实际为 -1,预测也为 -1。

      

    3. Accuracy & precision & recall

      Accuracy 表示为:

         

      考虑另外两个评价参数 precision 和 recall。

             

         

    4.Optimistic model & pessimistic model

      

      

    Optimistic model:

      一个预测模型过于乐观, 即几乎对于所有样本都预测为 +1, 这种情况往往发生在数据集多数为 +1 ,且模型过拟合的情况下。

      这种模型的预测结果中, False Negative很少(实际+1 被预测为 -1),False Positive较多(实际-1 被预测为 +1)。即precision 较低, recall较高,Precision 和recall 中主要应注意 precision。

      对于这种模型,需要注意减少false positive 的数量, 即:

      计算Cost时false positive 与 false negative权重不同,false positive 的权重应更高;

      提高预测为 +1 的confidence level,即提高判断为+1的阈值(+1 if probability >= threshold else -1),模型需要在更有把握的时候才能预测为 +1。

     

    pessimistic model:

      一个预测模型过于悲观, 即只有在非常肯定的情况下才会预测为 +1,

      这种模型的预测结果中, False Negative很多(实际+1 被预测为 -1),False Positive较少(实际-1 被预测为 +1)。即 precision较高, recall较低,应主要注意 recall。

      对于这种模型,需要注意减少false negative 的数量, 即

      计算Cost时提高false negative 的权重。

      降低预测为 +1 的confidence level。

    5. 用Precision & recall评价模型好坏

      显然,最理想的模型 precision、recall 都为1,然而实际情况中面临着 precision & recall 之间的权衡问题,precision 和recall 往往是此消彼长,例如有两个分类器模型A 和B,如下图所示,考虑到precision 和 recall, 哪个模型更好?

      

    一个评价方法是:比较曲线下的面积大小(area-under-the-curve, AUC)。以这种方法进行比较,显然B分类器更好。

  • 相关阅读:
    集合set
    字典
    元组
    列表
    for循环
    Windows调试2.异常产生详细流程
    双机环境搭建
    Windows调试1.WinDbg基本使用-异常基础知识
    PE基础7-HOOK练习
    PE基础6_远程线程注入-HOOK(消息-InLine-IAT)
  • 原文地址:https://www.cnblogs.com/smartweed/p/8617842.html
Copyright © 2011-2022 走看看