从线性回归到logistic回归到一般回归

参考资料：http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html

回归：属于监督学习，由已有的(x,y)学习得到模型，根据输入的x判断y值

线性回归：最简单

估计函数 

损失函数(loss function)  

损失函数采用估计函数值和观测值的差值的平方和，乘以1/2. 这个系数是为了求导时候刚好消掉

为什么选择平方和作为loss function？

一般假设，而服从正态分布，因此

因此loss function采用平方和的形式

参数估计的方法：最小二乘法，梯度下降法（批量，增量）

1. 最小二乘法

矩阵描述：把每个X当做一列，拼成矩阵X，仍然有 。theta的矩阵描述是 

采用了X的广义逆矩阵。前提是要求X是列满秩的。该方法的一个缺点是计算量大，求逆矩阵速度慢。

2. 梯度下降法

1）选取theta的初始值（有一定技巧，对最后结果有影响）

2）改变theta的值，按照梯度下降的方向减小

梯度下降的方向是梯度的反方向

扩展：带权重的线性回归（用于预测特定的预测点，属于非参数估计）

上述的误差函数权重都是1，也可以根据到目标预测点的距离赋予权重

其中 

离目标点x越近的训练点的权重越大，影响越大

logistic回归

本质上仍是是线性回归。只是多了几个中间层：期望值，连接函数

解决问题：0/1分类

从自变量->结果的映射：无穷->0 OR 1

以属于某一类的概率p作为期望值进行分类。p的取值范围是[0,1]，通过转换 使得取值范围变为(负无穷，正无穷)

因此作为模型。