zoukankan      html  css  js  c++  java
  • 逻辑斯蒂回归1 -- 逻辑斯蒂回归模型

    声明:

             1,本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用。欢迎转载,但请注明出处(即:本帖地址)。

             2,因为本人在学习初始时有非常多数学知识都已忘记。所以为了弄懂当中的内容查阅了非常多资料,所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我。我会将您的帖子的地址付到以下。

             3,假设有内容错误或不准确欢迎大家指正。

             4,假设能帮到你。那真是太好了。

    逻辑斯蒂分布

             对于连续的随机变量X,X服从逻辑斯蒂分布是指:X具有下列分布函数和密度函数:

             分布函数:

                       (图1

                       F(X)= p( X <= x ) = 1 / (1 + exp(-(x-u)/r))

             密度函数:

                      

                       f(x)= F`(x) = exp(-(x-u)/r) / r(1 + exp(-(x-u)/r))2

             式中:u为位置參数,r >0为形状參数。

             当中分布函数属于逻辑斯蒂函数。其图形为一条S形曲线,该曲线以(u, 1/2)为中心对称,即满足:

                       F(-x + u ) - 1/2 = -F( x - u ) + 1/2

             PS:f(x) 的推导过程:

                       对F(X) = p( X<= x ) = 1 / (1 + exp(-(x-u)/r))

                       令a = 1 +exp(-(x-u)/r)。b = -(x-u)/r

                       ∴ dF/da = -(1/ (1 + exp(-(x-u)/r))2)

                          da/db = exp(-(x-u)/r)

                          db/dx = -(1/r)

                       ∴ f(x) =dF/dx = (dF/da) * (da/db) * (db/dx) = exp(-(x-u)/r) / r(1 + exp(-(x-u)/r))2

     

    二项逻辑斯蒂回归模型

             二项逻辑斯蒂回归模型是一种分类模型,使用P(Y|X)表示,形式为參数化的逻辑斯蒂分布。

             这里,随机变量X取值为实数。随机变量Y取值为1或0.

             终于,我们规定二项逻辑斯蒂回归模型的条件概率分布为:

                       P(Y=1|X)= exp(w·x + b) / (1 + exp(w·x + b))

                       P(Y=0|X)= 1 / (1 + exp(w·x + b))

             这里X∈Rn是输入。Y∈{0, 1} 是输出,w∈Rn和b∈R是參数,当中w成为权值向量,b成为偏置。

             于是二项逻辑斯蒂回归模型就是对输入实例X,求P(Y=1|X) 和P(Y=0|X) ,然后比較其大小。最后将实例分为概率较大的那一类。

             有时。为了方便。我们将w和x加以扩充,虽仍记作w,x,但其意义分别为:

                       w= (w(1), w(2), …, w(n), b),x = (x(1),x(2), …, x(n), 1)

             这时二项逻辑斯蒂回归模型例如以下:

                       P(Y=1|X)= exp(w·x) / (1 + exp(w·x))

                       P(Y=0|X)= 1 / (1 + exp(w·x))

             事件的几率(odds)

                      以下。我们再学习一个定义:事件的几率(odds)

                                事件的几率 = 事件发生的概率/事件不发生的概率

                      即:

                               odds= P / (1 - p)

                      在此基础上。odds的对数几率即其logit函数就是:

                                logit(p) = log(p / (1 - p))

             于是,二项逻辑斯蒂回归模型而言,X为Y=1的几率就是:

                       

             上式说明了什么呢?

             上式说明了:在逻辑斯蒂回归模型中,输出Y=1的对数几率是输入X的线性函数。

             换句话说即:输出Y=1(输出指定类别)的对数几率是由输入X的线性函数表示的模型。

             即:

                       逻辑斯蒂回归模型就是输出Y=1(输出指定类别)的对数几率是由输入X的线性函数表示的模型。

             PS:

                       ∵ 逻辑斯蒂模型满足逻辑斯蒂分布。

                       ∴ 由1可知:

                                对P(Y=1|X) =exp(w·x + b) / (1 + exp(w·x + b))

                                w·x的值越接近 +∞,P(Y=1|X) 越接近1

                                w·x的值越接近 -∞,P(Y=1|X) 越接近0

    多项逻辑斯蒂回归

             对于多项逻辑斯蒂回归。其模型为:

            

                       

  • 相关阅读:
    解决vue空格换行报错问题
    基本的项目开发流程(前后端开发)
    whl包构建
    Python虚拟环境创建
    页面适配 JS
    SpringBoot整合Ehcache3
    SpringBoot文件分片上传
    SpringBoot访问jar包静态文件
    SpringBoot整合Minio文件存储
    SpringBoot多环境配置文件打包
  • 原文地址:https://www.cnblogs.com/cynchanpin/p/7198950.html
Copyright © 2011-2022 走看看