Classification week2: logistic regression classifier 笔记

华盛顿大学 machine learning： Classification 笔记。

linear classifier 线性分类器

　　

 　　多项式：

　　

Logistic regression & 概率模型

　　　

　　P（y = +1 | x） = ?

　　使用 logistic函数

　　　　

　　　　　　　　　　

　　

这个概率模型怎么来的？

　　（李航《统计学习方法》）

　　即

　　　　　　　　　　　　　　

　　考虑对输入x进行分类的线性函数 w x，其值域为实数域，线性函数wx可转换为概率：

　　　　　　　　　　　　　　　

　　这时，线性函数值越接近正无穷，概率值就越接近1；线性函数值越接近负无穷，

概率值就越接近0。

　　这种概率描述适用于这样的情况：即在P=0或P=1附近，P对X的变化不敏感。这种概率模型的应用场景主要是分类。

 极大似然估计模型参数w

Maximize Likelihood Estimation(MLE) 极大似然估计

　　

　　　　　　　　　

　　　　即 选择使  l(w) 最大的参数 w。

　　对 l(w) 取对数：

　　

　　　展开得

　　　

梯度下降（Gradient-descent）：

　　

防止过拟合：

　　即

　　 

　　梯度下降