zoukankan      html  css  js  c++  java
  • machine learning(15) --Regularization:Regularized logistic regression

    Regularization:Regularized logistic regression

    without regularization

     

      • 当features很多时会出现overfitting现象,图上的cost function是没有使用regularization时的costfunction的计算公式

     

    with regularization

     

      • 当使用了regularization后,使θ1到n不那么大(因为要使J(θ)最小,θ1222.....θn2->0这时θj要趋向于0),这样可以避免overfitting出现,如上图中的粉色线的decision boundary.
      • 注意不用对θ0使用regularization

    Gradient descent

    • without regularization

               

    • with regularization

               

      • 与linear regression在形式上相似,但是它们的hθ(x)不一样

    Advanced optimization method

      • 在matlab和octave中,index都是从1开始的
      • [theta, cost] = ...
        fminunc(@(t)(costFunction(t, X, y)), initial_theta, options); %调用matlab的自带的函数fminunc, @(t)(costFunction(t, X, y))创建一个function,参数为t,调用前面写的 costFunction函数, 返回求得最优解后的theta和cost

  • 相关阅读:
    (Eclipse) Selection does not contain main type
    Spring Web Flow 学习笔记(2)-流程的组件
    Spring Web Flow 学习笔记(1)
    快速排序java实现
    二路归并排序
    剪切板
    Java中空白final
    对象引用和对象
    Java复用类
    Experimenrs on Foursquare
  • 原文地址:https://www.cnblogs.com/yan2015/p/4849471.html
Copyright © 2011-2022 走看看