zoukankan      html  css  js  c++  java
  • 线性模型-线性回归、Logistic分类

    线性模型是机器学习中最简单的,最基础的模型结果,常常被应用于分类、回归等学习任务中。

    回归和分类区别:

    • 回归:预测值是一个连续的实数;
    • 分类:预测值是离散的类别数据。

    1.     线性模型做回归任务中----线性回归方法,常见的损失函数是均方误差,其目标是最小化损失函数。以下是均方误差表达式:

      那么基于均方误差来求解模型的方法称为最小二乘法。

      最小二乘法思想:寻找一个超平面,使得训练数据集中所有样本点到超平面的距离之和最小。

    总结:

    缺点与改进:线性回归是采用超平面来拟合所有的训练数据,但如果数据不呈线性分布关系时,线性模型得到的结果是欠拟合的(ps:欠拟合就时特征学习的不够)。如果解决欠拟合的问题,有两种方式:

        第一种方法:挖掘更多的特征,比如不同的特征之间的组合,但这样做会使得模型更复杂,而且好的特征选取并不是一件简单的事;

        第二种方法:通过修改线性回归,这时出现的方法是“局部加权线性回归(LWR)”,该方法使得我们在不添加新特征的前提下,获得近似的效果。该方法只需将损失函数修改为:

    但是,LWR也有不足。最大的缺点是空间开销比较大,在线性回归模型中,当训练得到参数的最优解,就可以得到新数据的预测输出,但LWR除了保留参数得到最优解外,还要保留全部的训练数据,以求取每一个训练数据对应于新数据的权重值。

    2. 线性模型来进行分类学习----Logistics回归:基本思想是在空间中构造一个合理的超平面,把空间区域划分为两个子控件,每一种类别都在平面的某一侧。

    该算法一般采用的是Sigmoid函数:它可以将输入数据压缩到0到1的范围内,得到的结果不是二值输出,而是一个概率值,通过这个数值,可以查看输入数据分别属于0类或属于1类的概率。

    特别地,以上两种线性模型,都是广义线性模型的特殊形式。

  • 相关阅读:
    交易是如何被创建和打包的7
    重回js--js中的块作用域
    重回js--立即执行函数
    解决json跨域
    h5开发安卓ios坑总结
    关于html中对换行的处理
    说说display-inline
    笔记--学习git命令(基本命令版)
    写在最开始
    替换多个文件中的部分内容Demo
  • 原文地址:https://www.cnblogs.com/CynthiaWendy/p/11014779.html
Copyright © 2011-2022 走看看