机器学习西瓜书笔记---3.3、对数几率回归
一、总结
一句话总结：
【系统】：系统的学习非常非常重要，所以看书是非常非常必要且高效的
你之前【很多不懂的问题】，系统看书，【书上介绍的不能再详细】
1、为什么从阶跃函数变成对数几率函数（sigmoid）？
【阶跃函数不连续，不可求导】：单位阶跃函数不连续，因此不能直接用作式（3.15）中的g（-）.于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”（arrogate function），并希望它【单调可微】.对数几率函数（logistic function）正是这样一个常用的替代函数：$$y = frac { 1 } { 1 + e ^ { - z } }$$
2、什么是对数几率回归？
【对数几率函数】：$$y = frac { 1 } { 1 + e ^ { - z } }$$
【对数几率回归】就是【逻辑回归】：$$y = frac { 1 } { 1 + e ^ { - ( w ^ { T } x + b ) } }$$
由此可看出，式（3.18）实际上是在用线性回归模型的预测结果去【逼近真实标记的对数几率】，因此，其对应的模型称为“对数几率回归”（logistic regression，亦称 logit regression）.
特别需注意到，虽然它的名字是“回归”，但实际却是一种【分类学习方法】：是因为在【用回归（线性回归）做分类的事情】
3、为什么有对数几率回归？
上一节讨论了如何使用线性模型进行回归学习，但【若要做的是分类任务该怎么办】？
答案蕴涵在广义线性模型中：【只需找一个单调可微函数将分类任务的【真实标记y】与线性回归【模型的预测值】联系起来】
考虑二分类任务，其输出标记【y∈{0，1}】，而线性回归模型产生的预测值_$z = w ^ { T } x + b_$是【实值】，于是，我们需【将实值z转换为0/1值】.最理想的是【“单位阶跃函数”（unit-step function）】:$$y = left{ egin{array} { c l } { 0 , } & { z < 0 } \ { 0.5 , } & { z = 0 } \ { 1 , } & { z > 0 } end{array} ight.$$
若预测值【z大于零就判为正例，小于零则判为反例】，预测值为临界值零则可任意判别
4、对数几率回归中的几率和对数分别指什么？
【对数几率回归】就是【逻辑回归】：$$y = frac { 1 } { 1 + e ^ { - ( w ^ { T } x + b ) } }$$
可化为：$$ln frac { y } { 1 - y } = w ^ { T } x + b$$
若将y视为样本x作为正例的可能性，则1-y是其反例可能性，【【两者的比值y/(1-y)】，称为“几率”（odds），反映了x作为正例的相对可能性】.
【对几率取对数】则得到“对数几率”（log odds，亦称 logit）：$$ln frac { y } { 1 - y }$$
5、注意对数几率函数与“对数函数”ln(-)不同？
对数几率函数：$$y = frac { 1 } { 1 + e ^ { - z } }$$
对数函数：ln(-)
6、对数几率回归的优点？
【直接建模，无需分布】：这种方法有很多优点，例如它是【直接对分类可能性进行建模，无需事先假设数据分布】，这样就避免了偎设分布不准确所带来的问题；
【不仅类别，而且预测出了概率】：它不是仅预测出【“类别”】，而是可得到【近似概率预测】，这对许多需利用概率辅助决策的任务很有用；
【方便求导】：此外，对率函数是【任意阶可导的凸函数】，有很好的数学性质，现有的许多【数值优化算法】都可直接用于求取最优解
二、内容在总结中
博客对应课程的视频位置：