0x00 概要
逻辑回归（logistic regression）在机器学习中是非常经典的分类方法，周志华教授的《机器学习》书中称其为对数几率回归，因为其属于对数线性模型。
在算法面试中，逻辑回归也经常被问到，常见的面试题包括：
- 逻辑回归推导；
- 逻辑回归如何实现多分类？
- SVM与LR的联系与区别？
- 逻辑回归反向传播伪代码；
大家可以思考下能不能回答/推导出，但这次讨论的问题是：
为什么逻辑回归损失函数是交叉熵？
初看这个问题感觉很奇怪，但是其中的知识包含了LR的推导与理解。在我个人看来，可以从两个角度看待这个问题：
''' 【1】从极大似然估计的角度可以推导出交叉熵；
【2】从KL散度（熵的角度）去理解； '''
0x01 极大似然估计
对于逻辑回归，我们一般通过极大似然估计来求解参数
首先假设两个逻辑回归的两个条件概率：
学习时，采用极大似然估计来估计模型的参数，似然函数为：
对数似然函数（采用对数似然函数是因为上述公式的连乘操作易造成下溢）为：
对其求最大值，估计参数：
再将其改为最小化负的对对数似然函数：
如此，就得到了Logistic回归的损失函数，即机器学习中的「二元交叉熵」（Binary crossentropy）：
此时转变为以负对数似然函数为目标函数的最优化问题，采用梯度下降法进行优化。
0x02 KL散度
KL散度这个概念知道的人可能相对极大似然估计更少一点，具体可以看机器学习笔记---信息熵。
简单来说，「KL散度是衡量两个概率分布的差异」。
逻辑回归模型最后的计算结果（通过sigmoid或softmax函数）是各个分类的概率（可以看做是各个分类的概率分布）。那么假设真实的概率分布是，估计得到的概率分布是， 这两个概率分布的距离如何去衡量？在信息论中，「相对熵」，也就是KL散度可以衡量两个概率分布的差异性。具体公式为：
并且简单转化，可以得到：
因为交叉熵越大，KL散度越大，也可以用交叉熵来衡量两个概率分布之间的距离，所以逻辑回归使用交叉熵作为逻辑回归的损失函数。