统计学基础之回归分析

目录：（来源：百度百科等）

一、一元线性回归

二、多元线性回归

---

一、一元线性回归

　　一元线性回归是分析只有一个自变量（自变量x和因变量y）线性相关关系的方法。一个经济指标的数值往往受许多因素影响，若其中只有一个因素是主要的，起决定性作用，则可用一元线性回归进行预测分析。回归分析是研究某一变量（因变量）与另一个或多个变量（解释变量、自变量）之间的依存关系，用解释变量的已知值或固定值来估计或预测因变量的总体平均值。

　　一元线性回归分析预测法，是根据自变量x和因变量Y的相关关系，建立x与Y的线性回归方程进行预测的方法。由于市场现象一般是受多种因素的影响，而并不是仅仅受一个因素的影响。所以应用一元线性回归分析预测法，必须对影响市场现象的多种因素做全面分析。只有当诸多的影响因素中，确实存在一个对因变量影响作用明显高于其他因素的变量，才能将它作为自变量，应用一元相关回归分析市场预测法进行预测。

预测模型为：式中，xt代表t期自变量的值； 代表t期因变量的值；a、b代表一元线性回归方程的参数。a、b参数由下列公式求得（用代表）：建立模型：

1、选取一元线性回归模型的变量 ；

2、绘制计算表和拟合散点图 ；

3、计算变量间的回归系数及其相关的显著性 ；

4、回归分析结果的应用

模型的检验：

1、经济意义检验：就是根据模型中各个参数的经济含义，分析各参数的值是否与分析对象的经济含义相符；

2、回归标准差检验；

3、拟合优度检验；

4、回归系数的显著性检验。

（待完善）

1、相关关系

2、最小二乘法

3、拟合优度检验

4、显著性检验（与假设检验联系起来并python实现）

5、回归预测

6、残差分析

---

二、多元线性回归

　　在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

　　将所有变量包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。这时的回归方程称为标准回归方程，回归系数称为标准回归系数，表示如下：

由于都化成了标准分，所以就不再有常数项 a 了，因为各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分 0 ，当等式两端的变量都取 0 时，常数项也就为 0 了。多元线性回归与一元线性回归类似，可以用最小二乘法估计模型参数，也需对模型及模型参数进行统计检验 。

选择合适的自变量是正确进行多元回归预测的前提之一，多元回归模型自变量的选择可以利用变量之间的相关矩阵来解决。

 

1.建立模型

以二元线性回归模型为例 ，二元线性回归模型如下：

类似的使用最小二乘法进行参数估计 

2.拟合优度指标

标准误差：对y值与模型估计值之间的离差的一种度量。其计算公式为：

3.置信范围

置信区间的公式为：置信区间=其中，

 是自由度为

 的

 统计量数值表中的数值,

 是观察值的个数，

 是包括因变量在内的变量的个数。

 

 

1.普通最小二乘法

普通最小二乘法(Ordinary Least Square, OLS)通过最小化误差的平方和寻找最佳函数。通过矩阵运算求解系数矩阵：

2.广义最小二乘法

广义最小二乘法是普通最小二乘法的拓展，它允许在误差项存在异方差或自相关，或二者皆有时获得有效的系数估计值。公式如，

其中，Ω是残差项的协方差矩阵。

（待完善）

1、多重共线性

2、变量选择与逐步回归