zoukankan      html  css  js  c++  java
  • machine learning(13) -- solving the problem of overfitting:regularization

    solving the problem of overfitting:regularization

     

    • 发生的在linear regression上面的overfitting问题

    • 发生在logistic regression上面的overfitting

    • 怎么解决overfitting

    • regularization: cost function of linear regression

      • parameters小的话,这样hypothesis就会变得简单,这样就不会overfitting
      • 一般不会对θ0进行regularization
      • 上式是进行regularization的linear regression的cost function,要使上式的值取最小值
    •  对这个cost function 的分析

                     

      • 由两个式子(两个目标)组成,第一个式子是为了对trainning data更好的拟合(fitting the training data),第二个式子是为了避免overfitting
      • 第二个式子叫regularization term, λ叫regularization parameter, λ是为了平衡两个目标用的
      • 如果 λ非常大的话(这时θ1n几乎为0,hypothesis变得很简单,只有常数),就会出现underfitting,对trainning data/ new data很低的fitting
      • 所以并不是regularization在任何情况下(当 λ非常大的情况下),都能使model更适应new data或者training data
      • The regularization term puts a penalty on the cost J,随着模型参数的增多,the penalty increases as well.


                

     

  • 相关阅读:
    PE感染学习
    寻找复活节彩蛋egg huting 学习
    unicode exp学习
    zlib的安装与使用
    PDF 学习
    MW6MaxiCode ACX溢出
    Blog 迁移啦
    Malloc Maleficarum复盘
    [winafl]这几天的折腾
    [pwnable.kr]--alloca
  • 原文地址:https://www.cnblogs.com/yan2015/p/4844930.html
Copyright © 2011-2022 走看看