一、Softmax Regression简介
Softmax Regression是Logistic回归的推广，Logistic回归是处理二分类问题的，而Softmax Regression是处理多分类问题的。Logistic回归是处理二分类问题的比较好的算法，具有很多的应用场合，如广告计算等。Logistic回归利用的是后验概率最大化的方式去计算权重。
二、Logistic回归的回顾
在Logistic回归中比较重要的有两个公式，一个是阶跃函数：
另一个是对应的损失函数
最终，Logistic回归需要求出的是两个概率：和
。具体的Logistic回归的过程可参见“简单易学的机器学习算法——Logistic回归”。
三、Logistic回归的推广——Softmax Regression
在Logistic回归需要求解的是两个概率：和
，而在Softmax Regression中将不是两个概率，而是
个概率，
表示的是分类的个数。我们需要求出以下的概率值：
此时的损失函数为
其中是一个指示性函数，意思是大括号里的值为真时，该函数的结果为1，否则为0。下面就这几个公式做个解释：
1、损失函数的由来
概率函数可以表示为
其似然函数为
似然为
我们要最大化似然函数，即求。再转化成损失函数。
2、对 
似然(或者是损失函数)求偏导
为了简单，我们仅取一个样本，则可简单表示为
下面对求偏导：
其中，表示第
维。如Logistic回归中一样，可以使用基于梯度的方法来求解这样的最大化问题。基于梯度的方法可以参见“优化算法——梯度下降法”。