zoukankan      html  css  js  c++  java
  • 线性判别分析(线性回归、对数几率回归、线性判别分析和广义线性判别分析)

    基本形式

    优点:线性模型形式简单、易于建模。

               很多非线性模型是在线性模型的基础上通过引入层级结构或高维映射得到的。

               权重矩阵直观表达了各个属性的重要性,因此具有良好解释性。

    线性回归

     1、线性回归介绍与离散属性转换为实数值

    线性回归(linear regeression)试图学习一个线性模型以尽可能准确预测实值输出标记。

    对于预测值本来就是实数值的数据还好说,对于离散属性,其离散值转化为实数值有两种方法:第一种,若属性存在“序”的关系,可通过连续化进行转换(例如身高取值“高”“矮”,就可以转化为“1.0”“0.0”);第二种,若属性没有序的关系,可以转化为k维向量(例如“西瓜”“南瓜”,可以转化为{1,0}{0,1})。

    2、线性模型学习策略

    3、线性模型学习算法

    先举一个单属性的例子:

    再举更为一般的例子,也就是多元线性回归:

    4、广义线性模型

    注意(以下是个人理解):广义线性模型和后续介绍的广义线性判别分析(函数)殊途同归,都是利用线性判别分析进行扩展,解决非线性问题,但从形式上老说,不像是一回事。

    对数几率回归

    1、引言

    上述讨论的都是回归问题,如果用线性判别模型进行分类学习,就需要将实数值转化为离散值。

    利用广义线性模型,我们易知最理想的函数是“单位阶跃函数”,但是它不连续,无法适用于g-1(·)。因此我们找了个替代品,即对数几率函数(logistic function)(是一种sigmoid函数,还是其最重要的代表):

    因此虽然对应模型名称“对数几率回归”,但是其实是一种分类方法。

    2、学习策略与学习方法

    移步我的另一篇博客:https://www.cnblogs.com/CJT-blog/p/10135077.html

    线性判别分析

    1、引言

    线性判别分析(Linear Discriminant Analysis,LDA)是一种经典的线性学习方法,亦称“Fisher判别分析”。

    2、模型、学习策略与学习方法

    请移步我的另一篇博客:https://www.cnblogs.com/CJT-blog/p/10187720.html 

     

    广义线性判别分析

    1、引言

    2、广义线性判别函数

    3、特例——线性判别函数的齐次简化

  • 相关阅读:
    ASP.NET MVC中三方登录: 微软、谷歌、Office365
    ComponentOne Xuni助力Xamarin开发者突破百万,快速开发Android、IOS Apps
    深入浅出OOP(四): 多态和继承(抽象类)
    挑灯熬夜看《Build 2015 Keynote》图文笔记
    深入浅出OOP(三): 多态和继承(动态绑定/运行时多态)
    PHP 开发社区微信服务号实战图解
    年卡在手,城墙我走: 记葡萄城控件团队建设
    深入浅出OOP(二): 多态和继承(继承)
    Windows 10 技术预览
    深入浅出OOP(一): 多态和继承(早期绑定/编译时多态)
  • 原文地址:https://www.cnblogs.com/CJT-blog/p/10187905.html
Copyright © 2011-2022 走看看