机器学习算法笔记1_2:分类和逻辑回归(Classification and Logistic regression)

1. 形式：
   
   採用sigmoid函数：
   g(z)=11+e−z
   
   其导数为g′(z)=(1−g(z))g(z)
   如果：
   
   即：
   
   若有m个样本，则似然函数形式是：
   
   对数形式：
   
   採用梯度上升法求其最大值
   求导：
   
   更新规则为：
   
   能够发现，则个规则形式上和LMS更新规则是一样的。然而，他们的分界函数hθ(x)却全然不同样了（逻辑回归中h(x)是非线性函数）。关于这部分内容在GLM部分解释。
   注意：若h(x)不是sigmoid函数而是阈值函数：
   
   这个算法称为感知学习算法。尽管得到更新准则尽管类似。但与逻辑回归全然不是一个算法了。
2. 还有一种最大化似然函数的方法–牛顿逼近法
   
   • 原理：如果我们想得到一个函数的过零点f(θ)=0,能够通过一下方法不断更新θ来得到：
     
     其直观解释例如以下图：
     
     给定一个初始点θ0,如果f(θ0)和其导数同号说明过零点在初始点左边。否则在初始点右边，将初始点更新过该店的切线的过零点继续上述步骤，得到的切线过零点会不断逼近终于所要求的函数过零点。

   • 应用： 在逻辑回归中。我们要求似然函数的最大(最小)值。即似然函数导数为0。 因此能够利用牛顿逼近法：
     
     因为lr算法中θ是一个向量，上式改写为：
     
     当中H为Hessian矩阵:
     
     牛顿法往往比(批处理)梯度下降法更快收敛。