zoukankan      html  css  js  c++  java
  • 机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

    最小二乘线性回归,感知机,逻辑回归的比较:

     

    最小二乘线性回归

    Least Squares Linear Regression

    感知机

    Perceptron

    二分类逻辑回归

    Binary Logistic Regression

    多分类逻辑回归

    Multinomial Logistic Regression

    特征x

    x=([x1,x2,...,xn,1])T

    权重w

    w=([w1,w2,...,wn,b])T

    目标y

    实数(负无穷大到正无穷大)

    两个类别

    1,-1

    两个类别

    0,1

    多个类别

    c=0,1,...,k-1

    目标函数

     

    (类别1的概率)

    for c=0,1,...,k-1

     (全部类别的概率)

    对y的估计

       

     

    (类别1的概率)

     for c=0,1,...,k-1

    (全部类别的概率)

    映射函数

    sign函数 

    sigmoid函数

    softmax函数

    算法的作用

    预测连续值(回归)

    预测离散值(分类)

    预测离散值(分类)

    预测离散值(分类)

    损失函数

     

    损失函数的含义

    观测值与估计值之间的欧式距离平方和

    错误分类点距离分类超平面的总长度

    估计的概率分布与真实的概率分布之间的相似程度,对于样本(xi,yi),它的正确分类类别是c,那么如果它计算出的目标属于类别c的分类概率的值为1,则说明分类完全正确,这种情况下对损失函数没有贡献(ln1=0);而如果分类错误,则它计算出的目标属于类别c的的分类概率将是一个小于1的值,这种情况下将对损失函数有所贡献 

    估计的概率分布与真实的概率分布之间的相似程度,对于样本(xi,yi),它的正确分类类别是c,那么如果它计算出的目标属于类别c的分类概率的值为1,则说明分类完全正确,这种情况下对损失函数没有贡献(ln1=0);而如果分类错误,则它计算出的目标属于类别c的的分类概率将是一个小于1的值,这种情况下将对损失函数有所贡献

    损失函数的本质

    目标y的条件概率P(y|x)在高斯分布下的极大似然估计(取负数和对数)

    /

    目标y的条件概率P(y|x)在伯努利分布下的极大似然估计(取负数和自然对数)

    目标y的条件概率P(y|x)在多项分布下的极大似然估计(取负数和自然对数)

    最优解方法

    解析解(closed form),梯度下降法,牛顿法,拟牛顿法

    随机梯度下降法,牛顿法,拟牛顿法

    梯度下降法,牛顿法,拟牛顿法

    梯度下降法,牛顿法,拟牛顿法

  • 相关阅读:
    C++编程开发学习的50条建议(转)
    编程思想:我现在是这样编程的(转)
    Linux系统编程@多线程与多进程GDB调试
    字符串分割函数 STRTOK & STRTOK_R (转)
    C语言指针与数组的定义与声明易错分析
    C语言 a和&a的区别
    C语言二重指针与malloc
    【C语言入门】C语言的组成结构(基础完整篇)!
    程序员吐槽女友败家:开酒店必须400元起步,工资却不到自己的一半!
    怎样才能和编程语言对上眼?你需要做些准备以及...
  • 原文地址:https://www.cnblogs.com/HuZihu/p/10970243.html
Copyright © 2011-2022 走看看