zoukankan      html  css  js  c++  java
  • 机器学习之感知器和线性回归、逻辑回归以及SVM的相互对比

    线性回归是回归模型

    感知器、逻辑回归以及SVM是分类模型

    线性回归:f(x)=wx+b

    感知器:f(x)=sign(wx+b)其中sign是个符号函数,若wx+b>=0取+1,若wx+b<0取-1

    它的学习策略是最小化误分类点到超平面的距离,

    逻辑回归:f(x)=sigmoid(wx+b)取值范围在0-1之间。

    感知器和SVM的对比:

    它俩都是用于分类的模型,且都以sign符号函数作为分类决策函数。但是感知器只适用于线性可分的数据,而SVM可以通过核函数处理非线性可分的数据。拿感知器和线性可分支持向量机对比,他们的目标都是希望找到一个超平面能把数据分开,同时分类决策函数使用的都是sign符号函数,不同之处在于优化目标不同,感知机是通过最小化误分类点到超平面的距离来对参数进行优化,从而确定这个超平面,而SVM是通过最大化支持向量距离超平面这个最小距离来对参数进行优化。

    Logistic和SVM的区别:

    SVM分为线性可分支持向量机,线性支持向量机以及非线性可分支持向量机,它还适用于对非线性可分的数据进行分类。Logistic回归一般用于处理线性可分的数据。这里进行线性可分支持向量机和Logistic回归的对比,SVM的目标是希望找到一个超平面能把数据分开,以sign符号函数作为分类决策函数,通过最大化支持向量距离超平面这个最小距离来对参数进行优化。逻辑回归假设数据服从伯努利分布,以最大化条件概率为学习策略(优化目标),以对数似然函数为损失函数,运用梯度下降法来优化参数,sigmoid函数作为分类决策函数。

  • 相关阅读:
    html的基本框架和常用标签
    防火墙
    Zenmap
    每日一招:熟练掌握变盘方向
    每日一招:赚钱最快的选股策略
    操盘策略:黄金做单时间
    每日一招:坚守六大方式选出优质股
    如何保卫你的牛市胜利果实?
    名家看后市:长阴破位不必慌
    每日一招:补仓需遵守的技巧
  • 原文地址:https://www.cnblogs.com/dyl222/p/11072979.html
Copyright © 2011-2022 走看看