平稳时间序列的大样本OLS回归

有了《独立同分布的大样本OLS回归》的铺垫，现在进一步将OLS推广到平稳时间序列的情况。

思路还是一样：

• 进行点估计，再研究估计量的性质；
• 构造统计量，在大样本下推导其渐近分布，并进行假设检验。

这里的各种计算与上一篇非常像，需要注意的是大数定律和中心极限定理在这里的使用条件（遍历平稳、鞅差分过程等）与上一篇不同，因此也需要不同的假设。

1 记号与假设

记\(Q=\text{E}(x_t x_t')\)，\(V=\text{Var}(x_t\varepsilon_t)\)。

• 假设1 遍历平稳性（Ergodic stationary）：\(\{x_t',y_t\}'\)，\(t=1,\ldots,N\)是可观测的遍历平稳过程；
• 假设2 线性性：\(y_t=x_t'\beta+\varepsilon_t\)，可写作矩阵形式\(y=X\beta+\varepsilon\)；
• 假设3 模型正确设定：\(\text{E}(\varepsilon_t|x_t)=0\)且\(\text{E}(\varepsilon_t^2)=\sigma^2<\infty\)；
• 假设4 非奇异性：\(K\times K\)矩阵\(Q\)是对称、有限、非奇异的；
• 假设5 鞅差分：相对于\(\{x_s \varepsilon_s, s\lt t\}\)
  生成的\(\sigma\)-域，\(\{x_t \varepsilon_t\}\)为一鞅差分序列，且\(K\times K\)矩阵\(V\)是对称、有限、正定的；
• 假设6 条件同方差：\(\text{E}(\varepsilon_t^2|x_t)=\sigma^2\)。

假设1包含了上一篇中的独立同分布过程。由于不再是在独立同分布假设下，因此严格外生性\(\text{E}(\varepsilon_t|X)=0\)不一定可以满足。假设3允许\(x_t\)包含前定变量（predetermined variables）如滞后的因变量\(y_{t_1}\)等，另外，由于有假设3的保证，\(V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)\)。

2 一些定理

定理1 遍历平稳随机样本的弱大数定律：假设\(\{Z_t\}_{t=1}^n\)为遍历平稳过程，\(\text{E}(Z_t)=\mu\)且\(\text{E}(\vert Z_t\vert)<\infty\)，定义\(\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t\)，则当\(n\to \infty\)时，有\(\bar{Z}_n \xrightarrow{p}\mu\)。

定理2 遍历平稳鞅差分序列的中心极限定理：若\(\{Z_t\}_{t=1}^n\)为遍历平稳鞅差分过程，\(\text{Var}(Z_t)=V\)为有限、对称、正定的矩阵。定义\(\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t\)，则当\(n\to\infty\)时，有

\[\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V) \]

3 \(\hat\beta\)的性质

这里的全部内容都与上一篇类似。

和之前一样，\(\hat\beta=(X'X)^{-1}X'y\)，\(\hat\beta\)与\(\beta\)之差为\(\hat\beta-\beta=(X'X)^{-1}X'\varepsilon\)。

使用遍历平稳过程的弱大数定律，有\(\hat Q\xrightarrow{p}Q\)，且\(\hat {Q}^{-1}\xrightarrow{p}Q^{-1}\)。

同样有\(\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0\)（利用了假设3）。由此可得\(\hat\beta-\beta\xrightarrow{p}0\)。说明在这里，\(\hat\beta\)依旧是一致的。

4 \(\hat\beta\)的渐近分布及假设检验

这里的全部内容都与上一篇类似。

4.1 \(\hat\beta\)的渐近分布

与上一篇类似，可以推出

\[\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,Q^{-1}VQ^{-1}) \]

它的渐近分布的方差又称为渐近方差，记为\(\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}\)。

若满足假设6，即在条件同方差下，\(V=\sigma^2Q\)，渐近分布就变成了

\[\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,\sigma^2 Q^{-1}) \]

4.2 假设检验

检验零假设\(H_0: R\beta=r\)，其中\(R\)为\(J\times K\)矩阵。

4.2.1 条件异方差

若零假设成立，则\(R(\hat\beta-\beta)=R\hat\beta-r\)，而左边的渐近分布已经知道了，因此，可构造

\[\sqrt{N}(R\hat\beta-r)'(RQ^{-1}VQ^{-1}R')^{-1}\sqrt{N}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

式中的\(Q\)和\(V\)我们还需要进行估计。与上一篇类似，我们有\(\hat Q\xrightarrow{p}Q\)，对于\(V\)，我们同样可其用样本形式估计：

\[\begin{aligned} \hat V&=N^{-1}\sum_{t=1}^{N}x_tx_t' e_t^2\\ &=\dfrac{X'D(e)D(e)'X}{N} \end{aligned} \]

其中\(D(e)=\text{diag}(e_1,\ldots,e_N)\)。

可以证得，\(\hat V\xrightarrow{p}V\)。

最后，用\(\hat Q\)和\(\hat V\)进行替换，得：

\[N(R\hat\beta-r)'(R\hat{Q}^{-1}\hat V\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

当\(J=1\)时，\(\chi^2_1\)开根号就是标准正态分布，因此可直接构造\(t\)统计量：

\[\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{R\hat{Q}^{-1}\hat{V}\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1) \]

4.2.2 条件同方差

若满足假设6，则\(V=\sigma^2 Q\)，代入上一节，有

\[N(R\hat\beta-r)'(\sigma^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

同样用\(s^2\)代替\(\sigma^2\)，它满足\(s^2\xrightarrow{p}\sigma^2\)。最后可得

\[N(R\hat\beta-r)'(s^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J \]

当\(J=1\)时，可得

\[\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{s^2 R\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1) \]