线性模型

这里主要总结Linear Regression，Linear Classification，Logistic Regression。

1.Linear Regression

线性回归的基本思想：寻找直线/平面/超平面，使得输入数据的残差最小

线性回归算法：

最终的线性回归的结果为：

其中：X⁺ 的求法如下

 2.Linear Classification

线性分类根据之前的方法主要是PLA和package方法来实现。

3.Logistic Regression(逻辑斯蒂回归)

如果把，W^TX的结果记作score，那么线性回归最后取得的函数是g(x)=W^TX，线性分类器的最后结果是g(x)=sign(W^TX)，逻辑斯蒂回归的最后结果是g(s)=1/(1+exp(-W^TX))，逻辑斯蒂回归选择的映射函数是S型的sigmoid 函数。输出结果是0-1之间的连续的值，

用一个更加直观的例子：通过二值分类，我们仅仅能够预测病人是否会患上心脏病，不同于此的是，现在我们还关心患病的可能性，即 f(x) = P(+1|x)，取值范围是区间 [0,1]。然而，我们能够获取的训练数据却与二值分类完全一样，x 是病人的基本属性，y 是+1(患心脏病)或 -1（没有患心脏病）。输入数据并没有告诉我们有关“概率” 的信息，这个时候用到的就是逻辑斯蒂回归。

下边是该算法的实现：

该算法的推理过程将在后续过程补齐。

附1：以上三种模型的比较：

（1）error function

 

在错误处理方面，线性分类直接采用的是0/1 错误，线性分类采用的是平方的错误，逻辑斯蒂回归采用的是corss-entropy error其中err(w,x,y)=ln(1+exp(-ywx))

（2）模型的过程

线性回归直接使用s=W^TX的值，线性分类直接对这个值取符号，逻辑斯蒂回归将s的值映射到(0,1)区间上，

线性回归使用的是一个最小二乘法的形式，线性分类是一个NP难问题，(主要采用LPA，或 Package算法，之后还可以转化为Regression问题，在求解)，逻辑斯蒂回归是采用的梯度下降的方法求解。

 附2：Regression for classification

① run logistic/linear reg. on D with y_n€{-1,+1} to get W_REG

② return g(x)=sign(W^T_REGX)

线性分类和线性回归基本是相同的，不同点在于，线性回归输出的结果是连续的值，二线性分类的结果仅仅是0或1

因此，可以把最后的函数改为sign函数即可。