The Order Statistic
所谓顺序统计量, 即一族独立的观测(X_1, X_2, ldots, X_n)的排序后的产物
用大写的原因, 自然是我们可以将每一个元(X_{(i)})看成一个随机变量, 实际上它是(X_i, i=1,ldots, n)的一个函数, (X_{(i)} = X_{(i)}(X_1,X_2,cdots, X_n)).
推导顺序统计量的性质, 需要用到一个非常有用的表示方法, 设(F(x)=P(Xle x))为分布函数, 定义其逆为
有一个很好的性质是, 设(U)为([0,1])上的均匀分布, 则
实际上, 这是因为(P(F^{-1}(U) le u) Leftrightarrow P(U le F(u))=F(u)).
故, 倘若我们有独立的随机变量(U_1, U_2, ldots, U_n)以及独立同分布的(X_1, X_2,ldots, X_n), 我们有
另外, 令(F_n)表示(X)的一个经验分布, 显示为
并令
引理1 (F^{-1})的一些基本性质
引理1: 假设(F)为一分布函数, 则(F^{-1}(t), 0 < t < 1)是非降左连续的且满足
- (F^{-1}F(x) le x, -infty < x < infty);
- (F(F^{-1}(t)) ge t, 0 < t < 1);
- (F(x) ge t)当前仅当(x ge F^{-1}(t)).
注: (F(x))是非降右连续.
顺序统计量的分布
定理1: 设(F(x))存在密度函数(f(x)).
-
[P(X_{(k)} le x) = sum_{i=k}^n mathrm{C}_n^i [F(x)]^i [1-F(x)]^{n-i}, -infty < x < infty. ]
-
(X_k)的密度函数为
[nmathrm{C}_{n-1}^{k-1} F^{k-1}(x) [1-F(x)]^{n-k} f(x). ] -
(X_{(k_1)}, X_{(k_2)})的联合密度函数((x_1<x_2, k_1<k_2))为
[frac{n!}{(k_1-1)!(k_2-k_1-1)!(n-k_2)!}[F(x_1)]^{k_1-1} [F(x_2)-F(x_1)]^{k_2-k_1-1} \ [1-F(x_2)]^{n-k_2} f(x_1)f(x_2). ] -
全体顺序统计量的密度函数为
proof: 1, 2的证明是简单的, 3需注意(X_{(k_1)}, X_{(k_2)})的分布函数为
此公式进行求导实际上是和1, 2的证明是类似的. 4的证明是平凡的.
顺序统计量的条件分布
定理2: 设(F(x))存在密度函数(f(x)), 则 (X_{(j)}|X_{(i)}, i< j)的分布等价于以(frac{F(x)-F(x_i)}{1-F(x_i)}, x_i le x < infty)为分布函数的 (n-i)个顺序统计量的第(j-i)个分布.
proof:
对比定理1中的公式即可知.
定理3: 设(F(x))存在密度函数(f(x)), 则(X_{(i)}|X_{(j)}, i<j)的分布等价于以(frac{F(x)}{F(x_j)}, -infty < x le x_j)为分布的(j-1)个顺序统计量的第(i)个分布.
proof: 证明同上.
特殊分布的特殊性质
定理4: 设(X_1, X_2, ldots, X_n)独立服从于标准指数分布, 令
则(Z_1, Z_2,ldots,Z_n)也独立服从于标准指数分布.
proof: 通过变量替换并利用Jacobian行列式从(x)变换到(z), 需要注意俩个分布的区域的差别.
定理5: 对于([0, 1])上的均匀分布, 则随机变量(V_1 = U_{(i)} / U_{(j)}) 且(V_2=U_{(j)}, 1 le i < j le n), 独立, 前者服从(Beta(i, j-1)), 后者服从(Beta(j, n-j+1)).
proof: 同上利用变量替换.
定理6: 对于([0, 1])上的均匀分布, 则随机变量
独立且均服从于([0, 1])的均匀分布.
proof: 同样可以用变量替换来做, 不过文中是转换成指数分布然后利用前面的结论来证明的.
(hat{xi}_{pn}-xi_p)
定理7: 令(0 < p < 1.) 假设(xi_p)存在唯一解(x)使得(F(x^{-}) le p le F(x)), 则
其中(delta_{epsilon} = min {F(xi_p+epsilon)-p, p-F(xi_p-epsilon)}).
proof: 证明拆成并用到了Hoffeding不等式, 感觉挺有技巧性的.
(F_n)
定理11:
- (mathbb{E}(F_n(x)) = F(x));
- (mathrm{Var}(F_n(x)) = frac{F(x)(1-F(x))}{n} ightarrow 0.)
proof: 只需注意到, (nF_n(x))实际上服从的是(mathrm{binomial}(n, F(x)))即可.
定理12:
proof: 令(epsilon >0), 取(k > 1/epsilon)以及
使得(F(x_j^-) le j/kle F(x_j), j=1ldots, k-1). 若(x_{j-1}< x_j), 则(F(x_j^-)-F(x_{j-1}) < epsilon).
根据强大数定律, 有
故
对于(x_{j-1}< x < x_j^-) (注(x=x_j)的情况下面不等式成立是天然的):
故
对于任意的(epsilon)均成立. 故不等式成立.
注: 这里的证明和文中的有点不同, 感觉这么写更加合理.
注: 文中还讲了不少其它特别是渐进性质, 能力有限只能看个大概, 便不记录了.