zoukankan      html  css  js  c++  java
  • 统计学习方法学习笔记第六章(逻辑斯谛回归与最大熵模型)

    逻辑斯谛分布的分布函数是S型曲线,以(μ,1/2)为中心。

    常用的模型是二项逻辑斯谛回归模型,即进行二分类。逻辑斯谛回归模型的对数几率是输入x的线性函数,也就是说可以将线性函数w*x转化为概率,这样线性函数的值越接近正无穷,概率值就越接近1。

    逻辑斯谛回归模型可以用极大似然估计来估计模型参数,从而得到逻辑斯谛回归模型,问题转化为了对数似然函数的最优化问题,通常采用梯度下降法或者牛顿法来学习。

    最大熵模型由最大熵原理推导而来,在学习概率模型的时候,熵最大的模型就是最好的模型。对离散型变量来说,熵最大就是每一种可能的概率都相等,对于连续型变量来说,就是服从均匀分布。在实际情况中,可能会有一些约束条件,那么最大熵模型的学习就等价于求解约束最优化问题,之后将约束最优化问题转化为无约束最优化的对偶问题,通过求解对偶问题来求得原问题的解。

    模型学习的方法有两类。

    一类是IIS算法,思想是让对数似然函数的改变量的下界提高,那么对数似然函数也会提高。具体实现时,每次只改变一个变量,固定其它变量。利用琴生不等式可以得到一个没那么紧的下界,求对变量的导数,令其等于0就可以反算出改变量。

    第二类是拟牛顿法或者梯度下降法。

    https://zhuanlan.zhihu.com/p/122267617

  • 相关阅读:
    团队项目个人工作总结(4.27)
    团队项目个人工作总结(4.26)
    团队项目个人工作总结(4.25)
    评测—输入法
    学习进度(2016.4.24)
    团队项目个人工作总结(4.24)
    团队项目个人工作总结(4.23)
    第一阶段冲刺(第四天)
    典型用户和用户场景描述
    第一阶段冲刺(第三天)
  • 原文地址:https://www.cnblogs.com/pkgunboat/p/15767754.html
Copyright © 2011-2022 走看看