zoukankan      html  css  js  c++  java
  • LDA与最小二乘法的关系及其变种详解

    1 LDA与最小二乘法的关联

          对于二值分类问题,令人惊奇的是最小二乘法和LDA分析是一致的。回顾之前的线性回归,给定N个d维特征的训练样例clip_image023(i从1到N),每个clip_image025对应一个类标签clip_image027。我们之前令y=0表示一类,y=1表示另一类,现在我们为了证明最小二乘法和LDA的关系,改变训练目标:

    clip_image029

      就是将训练目标0/1做了值替换。我们列出最小二乘法代价函数:

    clip_image031

      w和clip_image033是拟合权重参数。分别对clip_image033[1]和w求导得:

     clip_image035

             clip_image037      

      从第一个式子展开可以得到:

     clip_image039     

      消元后,得clip_image041又因为:

          clip_image043

     化简第二个求导式子展开后和下面的公式等价:

                clip_image045      

     其中clip_image047clip_image049是二值分类中类内离散矩阵和类间离散矩阵。由于clip_image051

     因此,最后结果仍然是:

    clip_image053

      这个过程从几何意义上去理解也就是变形后的线性回归(将类标签重新定义),线性回归后的直线方向就是二值分类中LDA求得的直线方向w。

    2.LDA的变种详解

  • 相关阅读:
    client offset screen 的区别
    js中const,var,let区别
    jquery的选择器
    gulp
    JS 实现图片放大效果
    html单个标签实现跑马灯效果
    前端之HTML知识点整理
    各种纯css图标
    防止反复点击的思路
    .NET Memcached Client 扩展获取所有缓存Key
  • 原文地址:https://www.cnblogs.com/engineerLF/p/5393118.html
Copyright © 2011-2022 走看看