zoukankan      html  css  js  c++  java
  • 高方差和高偏差

    1.高方差和高偏差

    偏差: 描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据集。

    方差: 描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,预测结果数据的分布越散。

    理解偏差和方差(bias/variance)的两个关键数据是训练集误差(train set error)和验证集误差(dev set error)

    通过查看训练集误差和验证集误差,我们便可以诊断算法是否具有高方差

     

     如果训练集设置非常好,而验证集设置相对较差,我们可能过度拟合了训练集,某种程度上,验证集并没有充分利用交叉验证集的作用。这种情况就是高方差(high variance)

    算法并没有在训练集中得到很好的训练,如果训练数据的拟合度不高,就是欠拟合,可以说这种算法偏差比较高(high bias)

     2.解决高方差和高偏差的办法

    (1)解决高方差

    • 准备更多的数据
    • 正则化(regularization)
    • 寻找合适的网络结构

    利用正则化来解决high variance的问题,正则化是在cost function中加入一项正则化项,惩罚模型的复杂度

    人们在训练网络时,越来越倾向使用L2正则化

     3.为什么加入正则化会减小过拟合即为什么减小方差?

     

     

     

     参考:

    https://blog.csdn.net/u010626937/article/details/74435109

  • 相关阅读:
    Zabbix Server 和 Zabbix Agentd 开机自动运行
    nginx+keepalive实现高可用负载均衡
    zabbix添加对web页面url的状态监控
    Zabbix当内存剩余不足10%的时候触发报警
    zabbix cpu监控介绍
    bash小结
    数据库知识入门
    MySQL简单管理
    python环境
    paramiko实现putty功能
  • 原文地址:https://www.cnblogs.com/GumpYan/p/13524390.html
Copyright © 2011-2022 走看看