zoukankan      html  css  js  c++  java
  • 【机器学习基石笔记】九、LinearRegression

    【一】

    线性回归直觉上的解释

     得到Ein = mean(y - wx)^2

    【二】

    w的推导

    Ein = 1/N || xw - y||^2

    连续、可微、凸函数

    在各个方向的偏微分都是0

    Ein = 1/N (wTxTxw - 2wTxTy + yTy)

    Ein := 1/N (wTaw - 2wTb + c)

    向量求导,aw - b = 0

    xTxw = xTy

    w = (xTx)^-1(xTy)

    xTx的维度为dxd, x是nxd, y是nx1

    可定义为 w = x^{+} y

    那么有yHat = xx^{+} y

    hat matrix: xx^{+}, H

    【三】

    没有学习过程,close-form solution, No!

    计算逆矩阵的过程就是在学习。只要Eout是好的,学习这件事情就已经发生了。

    从另一个角度看Eout会很好:(第一角度:vc dimension)

    之前vc的观点:某些点,现在的观点:平均

    几何解释:

    样本数量的维度,y是n维向量,x是d个n维向量,展开。

    H算子的作用, 作用在y上,得到在x展开空间中的向量

    (I - H)算子的作用,得到与x垂直的向量

    trace(I-H) = n-d+1

    可以认为Ein就是y-yHat,就是noise在垂直方向的投影,就等于(I-H)noise

    Ein = 1/N ||y - yHat|| = 1 - (d+1)/n * noiseLevel

    同理,Eout = 1/N ||y-yHat||  = 1 + (d-1)/n * noiseLevel

    Ein 和 Eout的差距,2(d+1)/n

    【四】

    linear classification和linear regression的差别

    EReg > ECls

    EClsOut < EClsIn + c < ERegIn + c

    因此一个lr解也是一个比较好的lc的解

  • 相关阅读:
    浅谈MySQL字符集
    思维导图_Python知识点
    思维导图_Linux文件系统及常用监控命令
    思维导图_Linux中的软件安装命令
    思维导图_Linux中的重要日志文件
    思维导图_Linux开机启动流程
    CentOS7.6中mysql实践
    搭建集群架构
    LNMP架构
    Day004_Linux基础_基础命令之tar打包解包
  • 原文地址:https://www.cnblogs.com/yesuuu/p/7559694.html
Copyright © 2011-2022 走看看