条件期望误差的有限性

1 CEF error的有限性问题

在回归中，记条件期望函数（conditional expectation function，CEF）为(E[Y|X=x])，则可将因变量(Y)分解为

[Y=E[Y|X=x]+e ]

可记(e=Y-E[Y|X=x])为条件期望函数误差（CEF error）。

显然，(e)满足(E[e|X]=0)，(E[e]=0)，这些都很容易证明。下面来看一个关于(e)的有限性的问题：

若对于(rgt 1)有(E[|Y|^r]lt infty)，求证(E[|e|^r]lt infty)。

从直觉上说，(e)是用条件期望函数对(Y)做了解释后留下的残差，那么(Y)的有限性应该可以保证(e)的有限性。但要证明它，却比较复杂。

2 证明

首先我们利用Minkowski不等式，有

[egin{aligned} &left(E[|e|^r] ight)^{1/r}\ =& left(Eleft[|Y-E[Y|X=x]|^r ight] ight)^{1/r}\ leq& left(Eleft[|Y|^r ight] ight)^{1/r}+left(Eleft[|E[Y|X=x]|^r ight] ight)^{1/r} end{aligned} ]

由已知条件，第一项(left(Eleft[|Y|^r ight] ight)^{1/r})是有限的。

对于第二项，由于(g(cdot)=|cdot|^r)在(rgeq 1)时为凸函数，由Jensen不等式(g(E[Y|X]) leq E[g(Y)|X])，即有

[|E[Y|X]|^r leq E[|Y|^r|X] ]

再对两边取期望后取(1/r)次幂，可得

[left(Eleft[|E[Y|X]|^r ight] ight)^{1/r}leq left(E[|Y|^r] ight)^{1/r} ]

由已知条件可知，这一项也是有限的。

3 扩展

若我们关注(r=2)，就变成了CEF error的无条件方差(sigma=E[e^2]= ext{Var}[e])。结论重新表述如下：

若(E[Y^2]lt infty)，则(sigma^2lt infty)。

事实上，若对于多个解释变量，则不断加入解释变量后，残差的方差必将减小，即若(E[Y^2]lt infty)，必有

[ ext{Var}[Y]geq ext{Var}[Y-E[Y|X_1]] geq ext{Var}[Y-E[Y|X_1,X_2]] ]

为什么？

证明：先利用(E[Y|X_1]=E[E[Y|X_1,X_2]|X_1])和Jensen不等式，我们可以得到

[left(E[Y|X_1] ight)^2=(E[E[Y|X_1,X_2]|X_1])^2leq E[left(E[Y|X_1,X_2] ight)^2|X_1] ]

两边取期望后有

[Eleft[left(E[Y|X_1] ight)^2 ight] leq Eleft[left(E[Y|X_1,X_2] ight)^2 ight] ]

同理，利用(E[Y]=E[E[Y|X_1]])和Jensen不等式，可得到((E[Y])^2leq Eleft[left(E[Y|X_1] ight)^2 ight])，与上面的式子放在一起有

[(E[Y])^2leq Eleft[left(E[Y|X_1] ight)^2 ight] leq Eleft[left(E[Y|X_1,X_2] ight)^2 ight] ]

三个地方都同时减去((E[Y])^2)，可得

[0 leq ext{Var}left[E[Y|X_1] ight] leq ext{Var}left[E[Y|X_1,X_2] ight] ]

另一方面，我们已有(e=Y-E[Y|X])，再记(u=E[Y|X]-E[Y])，则(E[eu]=0)，因此

[egin{aligned} & ext{Var}[Y]\ =& ext{Var}[e+u]\ =& ext{Var}[e]+ ext{Var}[u]\ =& ext{Var}[Y-E[Y|X]]+ ext{Var}[E[Y|X]] end{aligned} ]

而( ext{Var}[Y])为常数，因此，( ext{Var}[E[Y|X]])越大，( ext{Var}[Y-E[Y|X]])越小，即

[ ext{Var}[Y]geq ext{Var}[Y-E[Y|X_1]] geq ext{Var}[Y-E[Y|X_1,X_2]] ]