logistic回归具体解释(二）：损失函数（cost function）具体解释

有监督学习

机器学习分为有监督学习，无监督学习，半监督学习。强化学习。对于逻辑回归来说，就是一种典型的有监督学习。

既然是有监督学习，训练集自然能够用例如以下方式表述：

{(x1,y1),(x2,y2),⋯,(xm,ym)}

对于这m个训练样本，每一个样本本身有n维特征。

再加上一个偏置项x0, 则每一个样本包括n+1维特征：

x=[x0,x1,x2,⋯,xn]T

当中 x∈Rn+1, x0=1, y∈{0,1}

李航博士在统计学习方法一书中给分类问题做了例如以下定义：
分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预測问题便成为分类问题。这时。输入变量X能够是离散的，也能够是连续的。

监督学习从数据中学习一个分类模型或分类决策函数。称为分类器(classifier)。分类器对新的输入进行输出的预測(prediction)，称为分类(classification).

在logistic回归具体解释一(http://blog.csdn.net/bitcarmanlee/article/details/51154481）中，我们花了一整篇篇幅阐述了为什么要使用logistic函数:

hθ(x)=g(θTx)=11+e−θTx

当中一个重要的原因。就是要将Hypothesis(NG课程里的说法)的输出映射到0与1之间，既：

0≤hθ(x)≤1

相同是李航博士统计学习方法一书中，有下面描写叙述：
统计学习方法都是由模型，策略，和算法构成的，即统计学习方法由三要素构成，能够简单表示为：

方法=模型+策略+算法

对于logistic回归来说，模型自然就是logistic回归，策略最经常使用的方法是用一个损失函数(loss function)或代价函数(cost function)来度量预測错误程度，算法则是求解过程，后期会具体描写叙述相关的优化算法。

logistic函数求导

g′(z)=ddz11+e−z=1(1+e−z)2(e−z)=1(1+e−z)⋅(1−1(1+e−z))=g(z)(1−g(z))

此求导公式在兴许推导中会使用到

常见的损失函数

机器学习或者统计机器学习常见的损失函数例如以下：

1.0-1损失函数 （0-1 loss function）

L(Y,f(X))={1,0,Y ≠ f(X)Y = f(X)

2.平方损失函数（quadratic loss function)

L(Y,f(X))=(Y−f(x))2

3.绝对值损失函数(absolute loss function)

L(Y,f(x))=|Y−f(X)|

4.对数损失函数（logarithmic loss function) 或对数似然损失函数(log-likehood loss function)

L(Y,P(Y|X))=−logP(Y|X)

逻辑回归中，採用的则是对数损失函数。假设损失函数越小，表示模型越好。

说说对数损失函数与平方损失函数

在逻辑回归的推导中国。我们假设样本是服从伯努利分布(0-1分布)的。然后求得满足该分布的似然函数，终于求该似然函数的极大值。总体的思想就是求极大似然函数的思想。而取对数，仅仅是为了方便我们的在求MLE(Maximum Likelihood Estimation)过程中採取的一种数学手段而已。

损失函数具体解释

依据上面的内容，我们能够得到逻辑回归的对数似然损失函数cost function：

cost(hθ(x),y)={−log(hθ(x))−log(1−hθ(x))if y=1if y=0

略微解释下这个损失函数，或者说解释下对数似然损失函数：
当y=1时，假定这个样本为正类。

假设此时hθ(x)=1,则单对这个样本而言的cost=0,表示这个样本的预測全然准确。

那假设全部样本都预測准确。总的cost=0
可是假设此时预測的概率hθ(x)=0，那么cost→∞。

直观解释的话，由于此时样本为一个正样本，可是预測的结果P(y=1|x;θ)=0, 也就是说预測 y=1的概率为0。那么此时就要对损失函数加一个非常大的惩处项。
当y=0时。推理过程跟上述全然一致。不再累赘。

将以上两个表达式合并为一个，则单个样本的损失函数能够描写叙述为：

cost(hθ(x),y)=−yilog(hθ(x))−(1−yi)log(1−hθ(x))

由于 yi 仅仅有两种取值情况，1或0，分别令y=1或y=0，就可以得到原来的分段表示式。

全体样本的损失函数能够表示为：

cost(hθ(x),y)=∑i=1m−yilog(hθ(x))−(1−yi)log(1−hθ(x))

这就是逻辑回归终于的损失函数表达式