zoukankan      html  css  js  c++  java
  • 机器学习之感知器和线性回归、逻辑回归以及SVM的相互对比

    线性回归是回归模型

    感知器、逻辑回归以及SVM是分类模型

    线性回归:f(x)=wx+b

    感知器:f(x)=sign(wx+b)其中sign是个符号函数,若wx+b>=0取+1,若wx+b<0取-1

    它的学习策略是最小化误分类点到超平面的距离,

    逻辑回归:f(x)=sigmoid(wx+b)取值范围在0-1之间。

    感知器和SVM的对比:

    它俩都是用于分类的模型,且都以sign符号函数作为分类决策函数。但是感知器只适用于线性可分的数据,而SVM可以通过核函数处理非线性可分的数据。拿感知器和线性可分支持向量机对比,他们的目标都是希望找到一个超平面能把数据分开,同时分类决策函数使用的都是sign符号函数,不同之处在于优化目标不同,感知机是通过最小化误分类点到超平面的距离来对参数进行优化,从而确定这个超平面,而SVM是通过最大化支持向量距离超平面这个最小距离来对参数进行优化。

    Logistic和SVM的区别:

    SVM分为线性可分支持向量机,线性支持向量机以及非线性可分支持向量机,它还适用于对非线性可分的数据进行分类。Logistic回归一般用于处理线性可分的数据。这里进行线性可分支持向量机和Logistic回归的对比,SVM的目标是希望找到一个超平面能把数据分开,以sign符号函数作为分类决策函数,通过最大化支持向量距离超平面这个最小距离来对参数进行优化。逻辑回归假设数据服从伯努利分布,以最大化条件概率为学习策略(优化目标),以对数似然函数为损失函数,运用梯度下降法来优化参数,sigmoid函数作为分类决策函数。

  • 相关阅读:
    上周热点回顾(11.2912.5)
    上周热点回顾(11.1511.21)
    上周热点回顾(11.2211.28)
    上周热点回顾(12.1312.19)
    Bambook程序达人赛报名公告
    HTML5技术专题上线啦!
    “博客无双,以文会友”活动公告
    上周热点回顾(12.612.12)
    [转]Java RMI之HelloWorld篇
    中国现代远程与继续教育网 统考 大学英语(B)考试大纲
  • 原文地址:https://www.cnblogs.com/dyl222/p/11072979.html
Copyright © 2011-2022 走看看