逻辑回归算法

一、逻辑回归

　　逻辑回归也被称为对数几率回归，算法名虽然叫做逻辑回归，但是该算法是分类算法，这是因为逻辑回归用了和回归类似的方法来解决了分类问题。

　　机器学习基本原则：先逻辑回归再用复杂的，能简单还是用简单的。

　　逻辑回归的决策边界：可以是非线性的。

二、Sigmoid函数

　　Sigmoid函数公式：

　　

　　函数图像为：

　　

　　自变量取值为任意实数，值域[0,1]

　　解释：将任意的输入映射到了[0,1]区间我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换，也就是分类任务。

　　预测函数：

　　

　　假设做一个二分类任务：

　　

　　整合后得到目标函数：

　　

　　解释：对于二分类任务（0，1），整合后y取0只保留(1-h_θ(x))^1-y，y取1只保留(h_θ(x))^y

　　似然函数：

　　

　　对数似然：

　　

　　此时应用梯度上升求最大值，引入J(θ)=(-1/m)*(l(θ)转换为梯度下降任务

三、推导过程

　　求导过程：

　　

　　X_i^j：  i表示第多少个样本，j表示样本第几个特性。

　　参数更新(α表示步长也就是学习率)：

　　

　　总结：逻辑回归真的很好用！