逻辑回归

逻辑回归

逻辑回归是用于解决离散型的输出结果的问题（分类问题）。文本分类就是一个典型的分类问题。

在描述线性回归数学模型之前，先约定好一些表达形式： 代表输入数据 （features），代表输出数据（分类标签），代表一组训练数据（training example） ，m代表训练数据的个数，n代表特征数量。

1 逻辑回归函数表达

对于逻辑回归分类问题，y的输出等于 0 或者 1。逻辑回归函数式的输出范围是:，以0.5作为临界值（Threshhold），y的取值如下：

如果，y = 1

如果， y = 0

函数式表达

逻辑回归的函数表达如下：

 

其中

 

逻辑回归的损失函数是它的极大似然函数

 

逻辑回归的整个代价函数表示如下：

2 梯度下降算法

有了代价函数，接下来对于逻辑回归需要解决的事情往就是希望能够找到一组，能够最小化，即，梯度下降算法基本方式如下：

1)     随机选择一组；

2)     不断的变化，让变小；

 

j=0,1,...n，是所有n+1个值同时进行变化。α 是代表学习速率。是损失函数对的偏导数。 

3)     直到寻找到最小值。

所以关键是推导出对于j的偏导数如下： 

逻辑回归的多分类：

N分类也就是训练N个二分类。对于第j个分类器，任务就是得出一个样本属于j类和其他类的概率 h_θ⁽ⁱ⁾(x) 。

求得所有二分类后j（j = 1,2,3…N），那么这个样本属于的类J当:

 h_θ^(J)(x)  =