zoukankan      html  css  js  c++  java
  • 正则化的线性回归

    我们可以运用正则化的线性回归和logistic回归。我们先尝试线性回归。

    梯度下降

    我们将会把θ0修改梯度下降函数从其余的参数分离出来,因为我们不想惩罚θ0。

    执行我们的正则化。通过一些操作,我们的更新规则也可以表示为:

    在第一项、1−αλM永远小于1。直觉上你可以看到它在降低θJ值一定都更新。请注意,第二个术语现在与以前完全相同。


    正规方程

    现在我们用非迭代正规方程的交替方法来逼近正则化。

    加上正则化,这个方程和我们原来的一样,只是在圆括号里加了一个词:

    l是一个矩阵,左上角有0,对角线下是1,其余的0。它应该有尺寸(n + 1)×(n + 1)。直观地说,这是单位矩阵(尽管我们并不包括x0),与一个单一的实数λ乘以。

    记得,如果m<n,然后XTX是不可逆的。然而,当我们添加项λ⋅L,然后XTX+λ⋅L成为可逆。

  • 相关阅读:
    第一次被队友说给力
    An Unfair Game-[ACdream1035]
    男人八题解题报告
    it's hard to say
    剪花布条[HDU2087]
    1117: 无序字母对 character
    20181101
    20181104
    20181102
    20181031
  • 原文地址:https://www.cnblogs.com/zhengzhe/p/7295598.html
Copyright © 2011-2022 走看看