zoukankan      html  css  js  c++  java
  • 【20】机器学习准确率与人类的比较;可避免偏差;如何理解人的表现

    机器学习准确率与人类的比较

     当一个算法表现比人类好时,性能会逐渐达到某个理论上限,这就是贝叶斯最优错误率(bayes optional error),是指理论上可以达到的最优错误率

    可避免偏差

     以猫分类器为例,假设人类错误率为1%,如果训练集和测试集错误率分别为8%和10%,我们会倾向与减少偏差,因为与人类1%的错误率相比,模型拟合并不好。因而我们可以训练更大的神经网络,或者跑久一点梯度下降。但如果人类错误率是7.5%,那么就没有太大的必要去降低错误率了。因为人类的错误率和贝叶斯最优错误率差不多,所以目前的错误率已经和贝叶斯的差不多了,即使我们加强训练,错误率也没有很大的提升,所以就不去管错误率了。

    可避免偏差=模型的错误率-贝叶斯最优错误率(人类错误率)

    可避免偏差代表了算法在方差问题上还有多少改善空间。

    如何理解人的表现

     以一个例子说明:对于一个医学CT的诊断,abcd分别是普通人、普通医生、专家、顶尖团队的错误率,这四类人的错误是不同的,那么应该以哪个作为人的”标准错误率“呢?    一般认为,应该以最低的错误率为标准,即把顶尖团队的0.5的错误率看做贝叶斯最优错误率。

  • 相关阅读:
    BZOJ3779: 重组病毒
    BZOJ3112 [ZJOI2013]防守战线
    BZOJ4011 [HNOI2015]落忆枫音
    BZOJ2726 [SDOI2012]任务安排
    BZOJ1492 [NOI2007]货币兑换
    BZOJ1597 [USACO2008]土地购买
    BZOJ3611 [HEOI2014]大工程
    BZOJ3991 [SDOI2015]寻宝游戏
    BZOJ3675 [APIO2014]序列分割
    BZOJ1010 [HNOI2008]玩具装箱
  • 原文地址:https://www.cnblogs.com/lau1997/p/12361346.html
Copyright © 2011-2022 走看看