zoukankan      html  css  js  c++  java
  • 统计学习方法学习笔记第六章(逻辑斯谛回归与最大熵模型)

    逻辑斯谛分布的分布函数是S型曲线,以(μ,1/2)为中心。

    常用的模型是二项逻辑斯谛回归模型,即进行二分类。逻辑斯谛回归模型的对数几率是输入x的线性函数,也就是说可以将线性函数w*x转化为概率,这样线性函数的值越接近正无穷,概率值就越接近1。

    逻辑斯谛回归模型可以用极大似然估计来估计模型参数,从而得到逻辑斯谛回归模型,问题转化为了对数似然函数的最优化问题,通常采用梯度下降法或者牛顿法来学习。

    最大熵模型由最大熵原理推导而来,在学习概率模型的时候,熵最大的模型就是最好的模型。对离散型变量来说,熵最大就是每一种可能的概率都相等,对于连续型变量来说,就是服从均匀分布。在实际情况中,可能会有一些约束条件,那么最大熵模型的学习就等价于求解约束最优化问题,之后将约束最优化问题转化为无约束最优化的对偶问题,通过求解对偶问题来求得原问题的解。

    模型学习的方法有两类。

    一类是IIS算法,思想是让对数似然函数的改变量的下界提高,那么对数似然函数也会提高。具体实现时,每次只改变一个变量,固定其它变量。利用琴生不等式可以得到一个没那么紧的下界,求对变量的导数,令其等于0就可以反算出改变量。

    第二类是拟牛顿法或者梯度下降法。

    https://zhuanlan.zhihu.com/p/122267617

  • 相关阅读:
    最长公共子串
    Windows 下GitHub 安装和使用
    JSON 解析
    利用bootsrap控件 实现文件上传功能
    CCF 工资计算
    Java 对象引用以及对象赋值
    Java 关于创建String对象过程的内存分配
    JAVA堆内存和栈内存初步了解
    URAL 1152. False Mirrors (记忆化搜索 状压DP)
    POJ 1113 Wall(Graham求凸包周长)
  • 原文地址:https://www.cnblogs.com/pkgunboat/p/15767754.html
Copyright © 2011-2022 走看看