zoukankan      html  css  js  c++  java
  • logistic回归

    logistic回归

    logistic回归是一种二分类算法,直接为样本估计出它属于正负样本的概率。先将向量进行线性加权,然后计算logistic函数,可以得到[0,1]之间的概率值,它表示样本x属于正样本的概率:

                           

    正样本标签值为1,负样本为0。使用logistic函数的原因是它单调增,并且值域在(0, 1)之间,刚好符合概率的要求。

    训练时采用最大似然估计,求解对数似然函数的极值:

     

    可以证明这是一个凸优化问题,求解时可以用梯度下降法,也可以用牛顿法。如果正负样本的标签为+1和-1,则可以采用另外一种写法:

     

    训练时的目标同样是最大化对数似然函数:

     

    同样的,这也是一个凸优化问题。预测时并不需要计算logistic函数,而是直接计算:

     

    Logistic回归是一种二分类算法,虽然使用了概率,但它是一种判别模型!另外要注意的是,logistic回归是一种线性模型,这从它的预测函数就可以看出。它本身不能支持多分类问题,它的扩展版本softmax回归可以解决多分类问题。 

  • 相关阅读:
    http状态码
    Django基础篇(二)
    Django基础篇
    mysql进阶
    mysql数据库的基本操作
    JavaScript
    分布式原理之RPC框架
    Java实现本地缓存
    模版方法模式:封装算法 && 迭代器与组合模式:管理良好的集合
    分布式高并发系统设计与分析
  • 原文地址:https://www.cnblogs.com/DicksonJYL/p/9516387.html
Copyright © 2011-2022 走看看