NLP学习笔记10---逻辑回归(logistic regression)、梯度下降法(Gradient Descent)、模型复杂度和过拟合、正则、五折交叉验证

1.逻辑回归的经典应用

Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状来判断它是否患有某种病。

典型案例：

判断贷款人是否会出现违约现象

从上图可知，逻辑回归多用于二分类问题

2.逻辑回归的目标函数

(1)逻辑函数

(2)逻辑回归的目标函数

MLE最大似然估计

argmax这个符号表示求解使得p(y/x)乘积最大的w,b

对上面的目标函数进行优化：

进一步优化：

逻辑回归的目标函数是一个凸函数。

(3)梯度下降法(Gradient Descent)

上图中，η代表步长，▽f(w^t)表示f(w^t)的偏导数

利用梯度下降法求解逻辑回归的目标函数的最优解：

对w求导：

对b求导：

(4)梯度下降法(针对所有样本)和随机梯度下降(利用一个样本)

3.模型复杂度和过拟合

(1)模型复杂度

(2)L0-norm、L1-norm、L2-norm 正则(避免w很大)

L1-norm(L1正则)和L2-norm(L2正则)的区别：

L1正则和L2正则都能使得参数θ更小，但L1正则可以解决稀疏问题。

4.交叉验证

逻辑回归的目标函数加上正则项后：

五折交叉验证案例：

小结：