zoukankan      html  css  js  c++  java
  • 机器学习基石笔记-Lecture 9 Linear regression

    线性回归的任务是对于一个输入,给出输出的实数,保证和真实输出相差越小越好。因为假设空间是线性的,所以最后的g会是直线或者平面。

    通常的误差衡量方法是使用平方误差

    接下来的问题是如何最小化 Ein

    将Ein写成矩阵形式,

    注意到Ein是w的函数,是连续的、可微的、凸函数。

    对w求偏导使之为0则可以求出最优点。 

    这是一个关于w的一次方程。

    在  不可逆时,它的 pseudo-inverse仍然存在,只是会有多个,选取其中一个去得到w即可。

    线性回归是一个学习算法吗?

    先来看一看它的Ein

    H也可以叫做投影矩阵

    线性回归嘛,预测出来的y_hat 就在 span of X上。真实的y要与y_hat最小,那么就是要

    那residual,也就是 y - y_hat 可以写作 y通过(I-H)做投影。

    如果加入了noise, y - y_hat 也可以看做是 noise 通过(I-H)的投影

    然后就有(???)为什么要求Ein的平均不太懂。。

    第二条说的Eout的平均与Ein的平均的差,也就是平均的Eout与Ein的差,和VC给的保证(最坏的情形)不一样。

    只要N足够大,noise比较小的话,learning happened.

    可以使用linear regression 来做 linear classification.

    首先看看两者的误差衡量方式,0/1 err最小化不好解。。

    也就是说 regression的Ein 是大于 classification的 Ein的,那么看看Eout

    classification的Eout 被 regression 的 Ein和 模型复杂度惩罚项(对两者而言是一样的)给bound住。

    那么只要做好了regression的Ein,那么classification的Eout也可以很好。所以可以用regression来做classification.

    linear regression:

    优点:结果易于理解,计算不复杂。

    缺点:对非线性数据拟合不好。

    适用:数值型和标称型数据。

  • 相关阅读:
    114.完全背包【恰好装满完全背包
    整数划分类型题目
    三目运算符
    关于 xk 的位数。
    多重背包二进制原理拆分问题
    2016.4.2 讲课笔记(动态规划)
    二叉树(2)二叉树创建的3种方法,二叉树的递归遍历,二叉树的销毁
    二叉树(1)已知某2种排序方式,创建这个二叉树并按第3种方式排序
    C++知识点总结(二)
    5款优秀的开源克隆软件
  • 原文地址:https://www.cnblogs.com/akanecode/p/7054626.html
Copyright © 2011-2022 走看看