zoukankan      html  css  js  c++  java
  • 一个一元二分类Logistic回归参数解析解的推导

    极大似然函数为

    [L(alpha,eta) = (dfrac{exp(alpha+eta)}{1+exp(alpha+eta)})^a(dfrac{exp(alpha)}{1+exp(alpha)})^b(dfrac{\,1\,}{1+exp(alpha+eta)})^c(dfrac{\,1\,}{1+exp(alpha)})^dquad(1) ]

    取自然对数为

    [ln L(alpha,eta) = a(alpha+eta-ln(1+exp(alpha+eta)))+b(alpha-ln(1+exp(alpha)))-cln(1+exp(alpha+eta))-dln(1+exp(alpha))^dquad(2) ]

    分别关于 (alpha,eta) 求偏导,得对数似然方程组

    [egin{cases} dfrac{ ext{d}ln L}{ ext{d}alpha} = a-adfrac{exp(alpha+eta)}{1+exp(alpha+eta)}+b-bdfrac{exp(alpha)}{1+exp(alpha)}-cdfrac{exp(alpha+eta)}{1+exp(alpha+eta)}-ddfrac{exp(alpha)}{1+exp(alpha)}=0 quad (3.1)\ dfrac{ ext{d}ln L}{ ext{d}eta} = a-adfrac{exp(alpha+eta)}{1+exp(alpha+eta)}-cdfrac{exp(alpha+eta)}{1+exp(alpha+eta)}=0quad (3.2)\ end{cases}]

    ((3.2)) 可得$$dfrac{exp(alpha+eta)}{1+exp(alpha+eta)}=dfrac{a}{a+c},quad(4)$$
    代入 ((3.1)) 可得

    [a-adfrac{a}{a+c}+b-bdfrac{exp(alpha)}{1+exp(alpha)}-cdfrac{a}{a+c}-ddfrac{exp(alpha)}{1+exp(alpha)}=0 ]

    整理可得$$dfrac{exp(alpha)}{1+exp(alpha)} = dfrac{b}{b+d}quad(5)$$

    [b+bexp(alpha) = bexp(alpha)+dexp(alpha), ]

    亦即 $$exp(alpha) = dfrac{,b,}{d},quad(6)$$
    故$$alpha = ln(dfrac{b}{d}).$$
    ((4)) 可得$$aexp(alpha+eta)+cexp(alpha+eta) = a+a exp(alpha+eta),$$
    整理得 $$exp(alpha+eta) = dfrac{a}{c},$$
    从而$$eta = ln(dfrac{a}{c})-alpha =ln(dfrac{a}{c})- ln(dfrac{b}{d}) = ln(dfrac{ad}{bc}).$$

  • 相关阅读:
    Python 开发中easy_install的安装及使用
    Python 对象的深拷贝与浅拷贝 -- (转)
    Python 语言使用中遇到的问题汇总
    Python 源码学习之内存管理 -- (转)
    Python 对象模型 -- (转)
    Python3.3.3 安装(Linux系统)
    angular-file-upload API angular文件上传插件
    html5上传文件并监听进度
    angular 服务
    skrollr 中文教程
  • 原文地址:https://www.cnblogs.com/cidpmath/p/6066900.html
Copyright © 2011-2022 走看看