zoukankan      html  css  js  c++  java
  • 深度学习2线性回归,逻辑回归

    继续上一篇的问题,我们采用另外一种方法,采用矩阵的方式重新定义了最小二乘法。

    在说这个方法之前,先看看这个矩阵怎么个定义法。

    我们知道标量y对矩阵X的导数如下:

    clip_image002

    好,我们就根据课文中,对矩阵A求导。

    clip_image004

    然后给出了一个例子:

    clip_image006

    clip_image008

    然后根据矩阵迹的概念

    clip_image010

    对于矩阵的迹有以下性质:

    clip_image012

    clip_image014

    紧接着可以得到下面一些性质,作者给出,没有证明

    clip_image016

    下面我们重新定义训练数据,定义成矩阵的形式。

    clip_image018

    每一行为一个训练数据,x为列向量

    结果也用向量表示:

    clip_image020

    由于clip_image022,则

    clip_image024

    我们对于一个向量z,我们有clip_image026,则

    clip_image028

    这样我们通过这种形式又得到了J,我们的目的也就是使J最小。

    好,我们根据上面公式的(2)和(3),我们可以得到

    clip_image030

    因此,有:

    clip_image032

    要求最小的J,我们就令上式为0向量。

    clip_image034,即

    clip_image036

    这边要注意的是求矩阵的逆的比较慢,X可以求逆。

    下面一节就说下为什么采用平方和作为错误估计函数。

  • 相关阅读:
    python之元组
    python之dict
    python之list
    python之str字符串
    python之for循环
    Python的基本语法2
    Python的基本语法1
    初识python
    JS获取当天是周几
    EXCLE导入数据库
  • 原文地址:https://www.cnblogs.com/fengbing/p/3079399.html
Copyright © 2011-2022 走看看