zoukankan      html  css  js  c++  java
  • Softmax Regression与Logistic回归

    一、Softmax Regression简介

            Softmax Regression是Logistic回归的推广,Logistic回归是处理二分类问题的,而Softmax Regression是处理多分类问题的。Logistic回归是处理二分类问题的比较好的算法,具有很多的应用场合,如广告计算等。Logistic回归利用的是后验概率最大化的方式去计算权重。

    二、Logistic回归的回顾

        在Logistic回归中比较重要的有两个公式,一个是阶跃函数:

    另一个是对应的损失函数

    最终,Logistic回归需要求出的是两个概率:。具体的Logistic回归的过程可参见“简单易学的机器学习算法——Logistic回归”。

    三、Logistic回归的推广——Softmax Regression

        在Logistic回归需要求解的是两个概率:,而在Softmax Regression中将不是两个概率,而是个概率,表示的是分类的个数。我们需要求出以下的概率值:

    此时的损失函数为

    其中是一个指示性函数,意思是大括号里的值为真时,该函数的结果为1,否则为0。下面就这几个公式做个解释:

    1、损失函数的由来

       概率函数可以表示为

    其似然函数为

    似然为

    我们要最大化似然函数,即求。再转化成损失函数。

    2、对 似然(或者是损失函数)求偏导

       为了简单,我们仅取一个样本,则可简单表示为

    下面对求偏导:

    其中,表示第维。如Logistic回归中一样,可以使用基于梯度的方法来求解这样的最大化问题。基于梯度的方法可以参见“优化算法——梯度下降法”。

  • 相关阅读:
    IDEA学习和收藏夹
    mysql资料收集及学习
    一些模板代码
    docker学习
    Spring事务传播类型
    rust学习疑惑
    [重新做人]从头学习JAVA SE——java.lang.reflect
    java核心技术卷一
    Spring实战 难懂的JavaBean
    Spring实战系列
  • 原文地址:https://www.cnblogs.com/fujian-code/p/7681953.html
Copyright © 2011-2022 走看看