zoukankan      html  css  js  c++  java
  • logisitic回归

    线性回归目的是找到一条直线(或者超平面)尽可能地接近所有的训练数据点,而对数几率回归的目的是找到一条直线(或者超平面)尽可能地分开两种不同类别的数据点。

    对数几率回归感觉更像是一个分类问题。https://blog.csdn.net/amds123/article/details/70243497这篇博客中·已经讲的很好了,分类问题的结果是0或1。而对于logistic回归,我们不再要求直接给出分类结果,而是通过要求“分类结果为1的概率”进而得到分类结果,而概率属于[0,1]。

    下面就看下公式的推导。按照sigmoid函数的形式作为正类的概率。下面是sigmoid函数

                                          

     这个函数的图像是这样的

    接下来我们只要做出广义上的线性回归, 

    接下来的我们可以从最大熵模型中推导,最大熵模型为

                                              

    对于二分类问题

                                       

    上下同除分子,再另wi  = w1i - w0i就可以得到下面的式子

                                        

    这样正类的概率为,反类的概率为这里我们可以令,遵从伯努利分布,我们可以得到概率分布函数

                                  

    用极大似然估计法得到似然函数

                                      

    取对数就可以得到:

      

                                  

                                  

    接下来我们可以用梯度下降法求出合适的值

  • 相关阅读:
    Linq基础知识小记四之操作EF
    EF基础知识小记一
    Linq基础知识小记三
    Linq基础知识之延迟执行
    Linq基础知识小记二
    Linq基础知识小记一
    EF 通过DataAnnotations配置属性和类型
    C# 引用类型和值类型
    算法练习之环形链表
    C1128节数超过对象文件格式限制: 请使用 /bigobj 进行编译
  • 原文地址:https://www.cnblogs.com/mambakb/p/9911622.html
Copyright © 2011-2022 走看看