机器学习十讲-第二讲回归

学习地址

数据酷客 大讲堂 机器学习第二讲

回归

用一个或多个自变量来预测因变量的数学方法

在机器学习中，回归指的是一类预测变量为连续值的有监督学习方法

在回归模型中，需要预测的变量叫做因变量，用来解释因变量变化的变量叫做自变量。

一元线性回归

多元线性回归

可能遇到的问题

多重共线性

​ 最小二乘的参数估计为 $ widehat{w}=(X^TX){-1}X^Ty$ ，如果变量之间存在较强的共线性，则(X^{T}X)近似奇异，对参数的估计变得不准确，造成过度拟合现象。
​ 解决方法︰正则化、主成分回归、偏最小二乘回归

过度拟合问题

​ 当模型的变量过多时，线性回归可能会出现过度拟合问题

解决方法

正则化

值得注意的是，当 (q=2) 时，为岭回归，当 $ q=1 $时，为 (LASSO)

岭回归

​ 当不断增大正则化参数入，估计参数(hat{w}^{ridge}(lambda))（也称岭回归系数）在坐标系上的变化曲线称为岭迹。岭迹波动很大，说明该变量有共线性。

LASSO

• LASSO是一种系数压缩估计方法，它的基本思想是通过追求稀疏性自动选择重要的变量
• LASSO的目标函数∶((Xw - y)^{T}(Xw - y)+{lambda}{parallel}w{parallel}_1)
• LASSO 的解 (hat{w}^{LASSO}) 没有解析表达式，常用的求解算法包括坐标下降法、LARS算法和ISTA算法等

回归模型评价指标

其中 (y_i) 为真实值，(ar{x}) 为真实值的平均值，(hat{y}_i) 为模型估计值

总结