zoukankan      html  css  js  c++  java
  • [ZZ] Equal Error Rate (EER)

    这篇博客很全面

    http://www.cnblogs.com/cdeng/p/3471527.html

    ROC曲线

    1.混淆矩阵(confusion matrix)

        针对预测值和真实值之间的关系,我们可以将样本分为四个部分,分别是:

        真正例(True Positive,TP):预测值和真实值都为1

        假正例(False Positive,FP):预测值为1,真实值为0

        真负例(True Negative,TN):预测值与真实值都为0

        假负例(False Negative,FN):预测值为0,真实值为1

        我们将这四种值用矩阵表示(图片引自《machine learning:A Probabilistic Perspective》):

        image

        上面的矩阵就是混淆矩阵。

       2.ROC曲线

         通过混淆矩阵,我们可以得到真正例率(True Positive Rate , TPR):

        clip_image002

        我们还可以得到假正例率(False Positive Rate  , FPR):

        clip_image002[5]

        可以看到,TPR也就是我们所说的召回率,那么只要给定一个决策边界阈值clip_image002[7],我们可以得到一个对应的TPR和FPR值,然而,我们不从这个思路来简单的得到TPR和FPR,而是反过来得到对应的clip_image002[9],我们检测大量的阈值clip_image002[7],从而可以得到一个TPR-FPR的相关图,如下图所示(图片引自《machine learning:A Probabilistic Perspective》):

    image

        图中的红色曲线和蓝色曲线分别表示了两个不同的分类器的TPR-FPR曲线,曲线上的任意一点都对应了一个clip_image002[9]值。该曲线就是ROC曲线(receiver operating characteristic curve)。该曲线具有以下特征:

    • 一定经过(0,0)点,此时clip_image002[13],没有预测为P的值,TP和FP都为0
    • 一定经过(1,1)点,此时clip_image002[15],全都预测为P
    • 最完美的分类器(完全区分正负样例):(0,1)点,即没有FP,全是TP
    • 曲线越是“凸”向左上角,说明分类器效果越好
    • 随机预测会得到(0,0)和(1,1)的直线上的一个点
    • 曲线上离(0,1)越近的点分类效果越好,对应着越合理的clip_image002[9]

        从图中可以看出,红色曲线所代表的分类器效果好于蓝色曲线所表示的分类器。

    3.利用ROC的其他评估标准

    • AUC(area under thecurve),也就是ROC曲线的下夹面积,越大说明分类器越好,最大值是1,图中的蓝色条纹区域面积就是蓝色曲线对应的 AUC
    • EER(equal error rate),也就是FPR=FNR的值,由于FNR=1-TPR,可以画一条从(0,1)到(1,0)的直线,找到交点,图中的A、B两点。

    参考:

    1.《machine learning:A Probabilistic Perspective》

    2.wiki

    这篇博客只给了算法,未给出理由

    http://blog.csdn.net/hanlin_tan/article/details/39183843

    最近在做视频中目标检测,看到论文中有一项指标叫EER(Equal Error Rate),于是我也想算一算,结果google、baidu了半天,各种百科里没有一个像样的定义,更别提如何计算了。最后在一个matlab论坛里找到了正解:

    “the Equal Error Rate (EER) is the point on the ROC curve that corresponds to have an equal probability of miss-classifying a positive or negative sample. This point is obtained by intersecting the ROC curve with a diagonal of the unit square. ”

    翻译过来就是:EER是(一个分类器的)ROC曲线(接受者操作特性曲线)中错分正负样本概率相等的点(所对应的错分概率值)。这个点就是ROC曲线与ROC空间中对角线([0,1]-[1,0]连线)的交点(如下图所示)。

     所以下图表示的分类器的EER应该是蓝色虚线和红色ROC曲线的交点对应的横坐标值,在0.17左右。

          (关于什么是ROC曲线,请大家点链接看维基百科吧。)

           

       

    http://blog.csdn.net/lcmssd/article/details/30803517

    ERR 是 Bayesian决策中最佳阈值对应的错误率,此时False acceptance 和 False rejection是相等的,

    ERR可以用来衡量算法的错误率,ERR越小表示算法错误率越低
     

    http://www.webopedia.com/TERM/E/equal_error_rate.html

    Abbreviated as EER. A biometric security system predetermines the threshold values for its false acceptance rate and its false rejection rate, and when the rates are equal, the common value is referred to as the equal error rate. The value indicates that the proportion of false acceptances is equal to the proportion of false rejections. The lower the equal error rate value, the higher the accuracy of the biometric system.

  • 相关阅读:
    Excel-单条件和多条件匹配搜索
    Excel-条件判断
    Excel-常用快捷键
    EXCEL-批量下拉填充
    Excel-数据分列的多种方法实现
    Excel-统一小括号格式(中文小括号,英文小括号)
    在WEB网页上模拟人的操作(批量操作)
    EXCEL-常用函数总结
    C语言学习——bsmap-2.74_main.cpp
    Linux --- awk
  • 原文地址:https://www.cnblogs.com/xfzhang/p/4788227.html
Copyright © 2011-2022 走看看