zoukankan      html  css  js  c++  java
  • LR逻辑斯蒂回归原理

    (原创)

    本文讨论逻辑斯蒂回归

    1. 逻辑斯蒂分布

    是分布函数形如 1/(1+exp(-x))的分布,(注:可以加入参数平移或者拉伸)

    对于中心(0,1/2)中心对称,且在中心附近增长较快

    2. 线性参数化,的二项逻辑斯蒂回归

    输出分类为二分类,0和1,在x输入下,算这两个输出概率

    输出1的概率 =exp(wx+b)/(1+exp(wx+b)) ,注意和上面的分布形式上一致,参数改为了x的线性形式

    输出0的概率 =1/(1+exp(wx+b))=1-输出1概率

    注意,为了方便,可以将原向量w和x都扩充一维,将b放到w里,x加一维为1

    3. 估计参数w

    方法是经典的,使用极大似然估计,

    每个样本现象的概率是 pi(x)或者1-pi(x),可以统写为 pi(x)^y(1-pi(x))^(1-y),y的取值为0或1

    似然函数为上面n个样本现象的概率的乘积,

    再对他求最值,可以得到w的最大似然估计值,作为最终模型

  • 相关阅读:
    eclipse中的项目如何打成war包
    【SVN】Please execute the 'Cleanup' command.
    2021.06.02模拟赛DP2
    2021.05.26模拟赛 DP1
    状压DP
    高斯消元
    矩阵快速幂
    2021.05.10讲题
    Luogu P2152[SDOI 2009]Super GCD
    Tarjan
  • 原文地址:https://www.cnblogs.com/randomstring/p/15707358.html
Copyright © 2011-2022 走看看