1. 应用场景:首先要明确的是,Logistic Regression是用来分类的;
与stanford的公开课进行类比,在该课程中所举的例子是根据训练集中房屋的各种feature(area,location等)和价格来预测测试集中的房屋价格,
那么利用Logistic Regression就是来预测一种值域为[0,1]的label,如房屋价格上涨的概率p。若p>=0.5,则将其归为上涨;若p<0.5则将其归为不上涨。
如你要根据数据来预测房价是否会上涨来决定是否现在买房,那么Logistic Regression很适合你的选择,因为你care的是房价是否会上涨,而不是具体某个楼盘的房价会是多少。
2. 几率(odds):一个事件的几率(odds)是指该事件发生的概率与该事情不发生的概率的比值。
对数几率(log odds):log(odds)
设该事件发生的概率为p,则其对数几率为:
logit(p) = ln(p/1-p) = w*x 解得
p = exp(w*x)/ (1 + exp(w*x))
这样我们就可以根据历史数据来得到房屋价格上涨的概率了,很神奇。
3. 我的问题:
(1). 为什么能够想到几率和对数几率?
(2). 直接用线性回归的方法去估计概率会产生什么样的后果?
即令: p = w*x。 查看了网上其他的一些理解认为: 不同的feature值相差的会比较大,如一个以100,一个是1,数据没有归一化,这样会使预测效果不好;但是我认为这样可以用w来调整下就可以了,如对于值为100的feature,w=0.01, 值为1的feature,w=1;这样好像就可以实现数据归一化了啊。
看了这个http://blog.csdn.net/abcjennifer/article/details/7716281 之后,对为什么用线性回归不能很好的实现分类有了一点模糊的概念,但还是对
这个Logistic Function对事件概率的映射原理不是很理解,求大神指点!