第三,四章-多维随机变量及其分布

二位随机变量:

• E随机试验, Ω是样本空间, X,Y 是定义在Ω上的两个随机变量, (X,Y)向量/变量来自统一个样本空间
• 分布函数: F(x,y) = P{X≤x, Y≤y}, 联合分布, 定义域: X≤x and Y≤y的平面, 则概率就是, 定义域在空间内的体积
• X≤x, Y≤y
  • 0≤F(x,y)≤1
  • F(x,y)不减函数, y固定, x1<x2 F(x1,y)≤F(x2,y)
  • F(-∞, y)=0, F(x,-∞)=0, F(-∞, +∞)=0, F(+∞, +∞)=1
  • F(x,y)分别关于x和y右连续
  • x1<x2, y1<y2, P{x1<X≤x2, y1<Y≤y2} = F(x2, y2)-F(x2, y1) - F(x1, y2) + F(x1, y1)

二维离散型的联合分布及边缘分布

• X, Y取离散型数据
• P{X≤x, Y≤y}=P_ij,
  • P_ij≥0
  • ΣΣP_ij=1
  • F(x,y) = P{X≤x, Y≤y} = Σ_xi≤xΣ_yi≤yP_ij
• 边缘分布:
  • 取极端, 当求X的边缘分布, 就是把X=xi(i=1,2,3..)分别对应的yi的概率相加, 即: F(Xi, Y) = P{Xi, y1} + P{Xi, y2} + P{Xi, y...}
  • 同理, 当球Y的边缘分布, 和固定y 分别对应x求概率相加之和
• 联合分布可唯一确定边缘分布
• 边缘分布不能确定联合分布
• F(x,y) = P{X≤x, Y≤y}=∫_-∞^x∫_-∞^yf(s,t)dsdt   f(x,y)联合密度函数
  • f(x,y)≥0
  • ∫_-∞^+∞∫_-∞^+∞f(x,y)dxdy =1
  • ∂²F(x,y)/(∂x∂y) = f(x,y)
  • C1未XY的平面区域, P{(X,Y)€G}=∫∫f(X,Y)dxdy
• 边缘密度函数: 
  • F(x) = f(x,+∞)=∫_-∞^x[∫_-∞^+∞f(s,t)dt]ds
  • f_X(x)=∫_-∞^+∞f(x,t)dt=∫_-∞^+∞f(x,y)dy
  • f_Y(y)=∫_-∞^+∞f(s,y)ds=∫_-∞^+∞f(x,y)dx
  • 二维正太分分布的边缘分布也是正太分布
  • 来那个边缘分布是正太, 二维并非是二维正太分布

条件分布:

• 在一个事件A已经发生的条件下, 事件x发生的分布
• F(x) = P{X≤x}, F(x|A) = p{X≤x|A}
• 离散型的条件分布:
  • 分别求单个元素概率/边缘密度函数概率=离散型的条件分布
• 连续型的条件分布:
  • x,y是条件变量,密度函数是f(x,y),已知f_X(x), f_Y(y), 若f_Y(y)>0, 在Y=y的条件下,f(x|y)=∫_-∞^x[f(u,y)]/f_Y(y)du, f(x|y) = f(x,y)/f_Y(y), 同理: F(y|x) = ∫_-∞^yf(x,v)/f_X(x)dv   f(y|x)=f(x,y)/f_X(x)

随机变量的独立性:

• f(x|y) = f_X(x) = f(x,y)/f(Y(y)
• f(x,y) = f_X(x)f_Y(y)  联合密度函数=边缘密度函数的乘积
• F(x,y) = F_X(x)F_Y(y) 用分布函数定义: 联合分布函数=边缘分布函数的乘积
• 二维离散型的独立性:
  • 边缘密度函数的乘积分别等于联合密度
• 二维连续型的独立性:
  • f(x,y) = f_X(x)fY(y)
• 二维随机变量的函数分布
  • 二维离散型:Z=XY, 
    • Z = X1Y1, X2Y2, X3Y3,...
    • P{z} = P{X1,Y1}, P{X2,Y2}, ...
  • X1,X2独立, 服从0~1分布
    • x1+x2(x1,x2) = P{x1}P{x2}...
• X,Y独立事件, λ1, λ2服从泊松分布, Z=X+Y, P{x=k}=λ^k/k!e^-λ
  • P{Z=k} = Σ_i=0^kP{x=i, Y=k-i}=Σ_i=0^kP{x=i}P{k-i} = Σ_i=0^kλi/i!e^-λ₁λ₂^k-i/(k-i)!e^-λ2 = (λ1+λ2)^k/k!e^-(λ1+λ2)

二维连续变量函数的分布

• 已知事件(X,Y), f(x,y), 构建一个新的函数Z = g(X,Y), 使得F_Z(z) = P{Z≤z} = P{g(X,Y)≤z} = ∫∫f(x,y)dxdy
• f_Z(z) = ∫_-∞^+∞f(x,z-x)dx = ∫_-∞^+∞f_X(x)f_Y(z-x)dx
• f_Z(z) = ∫_-∞^+∞f(z-y, y)dy = ∫_-∞^+∞f_X(z-y)f_Y(y)dy
• 卷积公式使用前提条件
  • z = x+y
  • x,y独立
• X~N(μ₁,σ₁²), Y~N(μ₂, σ₂²), X+Y~N(μ₁+μ₂, σ₁²+σ₂²)

数学期望:

• 离散变量的数学期望: 如果P{X=x}=Pk, 若Σ_k=1^∞x_kP_k绝对收敛, 那么Ex = Σ_k=1^∞x_kP_k
• 连续型变量的数学期望:随机变量x, 他的密度函数是f(x), 假设∫_-∞^+∞x(x)dx绝对收敛, Ex = ∫_-∞^+∞xf(x)dx
• 随机变量函数的期望:
  • 二维变量函数Z=g(X,Y)的期望, (X,Y)
    • 离散型: EZ = ΣΣg(xi, yi)Pij
    • 连续型: Ez = ∫_-∞^+∞∫_-∞^+∞g(x,y)f(x,y)dxdy
• 数学期望的性质:
  • 常数的期望就是常数: EC= C
  • E(X+C) = EX+C
  • E(CX) = CEX
  • E(kx+b)=kEx+b
  • E(x±y)=Ex+Ey(任何时候都成立)
    • E(ΣCiXi)=ΣCiEXi
    • E(1/nΣXi) = 1/nΣXi
  • X,Y独立, E(XY) = EX·EY
• 条件期望:一个变量取某值, 另一个变量的期望
  • 离散: E(X|Y=y_i) = Σx_iP(X=x_i|Y=y_i)   E(Y|x=x_i) = Σy_iP(Y=y_i|X=x_i)
  • 连续性:E(X|Y=y)=∫_-∞^+∞xf(x|y)dx   E(Y|X=x)=∫_-∞^+∞yf(y|x)dy
  • 条件期望具有期望的一切性质

方差:Dx = E(x-Ex)² 存在一个量纲的问题

• 与期望偏离的程度
• DX^½: 叫做标准差(解决量纲变化的问题)
• 离散型:
  • DX = Σ(xk-Ex)²P_k 
• 连续型:
  • DX = ∫_-∞^+∞(x-Ex)²f(x)dx
• DX = EX²-(EX)²  
• 方差的性质:
  • 常数的方差=0: DC= 0
  • D(X+C) = DX
  • D(CX) = C²DX
  • D(kx+b)=k²DX
  • X,Y独立, D(X±Y)=DX+DY
  • DX=0↔P(X=EX)=1
• 标准化:
  • x* = (x-Ex)/(Dx)^½  

常见离散型的期望与方差:

• 0-1分布: P(x=k)=p^k(1-p)^1-k 
  • 期望: EX = p   方差: pq
• 二项分布: p(x=k)=C_n^kp^kq^n-k
  • 期望: EX = np,  方差: DX = npq
• 几何分布: p(x=k) = (1-p)^k-1p 
  • 期望: EX = 1/p   方差: DX = (1-p)/p²
• 泊松分布:p(x=k)=λ^k/k!e^-λ, k=1,2,3...
  • 期望: EX = λ    方差: DX = λ
• 均匀分布: f(x) = 1/(b-a)   a≤x≤b
  • 期望: EX = (a+b)/2    方差: DX = (b-a)²/12 
• 指数分布: f(x) = λe^-λx   x>0
  • 期望: EX = 1/λ      方差: DX = 2/λ²  
• 正态分布: X~N(μ, σ²)
  • 期望: EX = μ        方差: DX = σ² 

协方差: 

• Cov(x,y) = E[(X-EX)(Y-EY)] = E(XY) - EXEY
• 性质1: Cov(X,Y) = Cov(Y, X)
• 性质2: Cov(aX, bY) = abCov(X,Y)]
• 性质3: Cov(X1+X2, Y) = Cov(X1,Y)+Cov(X2,Y)
• 性质4: Cov(C,X) = 0
• 性质5: X,Y独立, Cov(X,Y) = 0

相关系数:

• ρ = Cov(X,Y)/(DX^½DY^½) = [E(XY) - EXEY]/(DX^½DY^½)与Cov(X,Y)同正, 同负, 同0
• X,Y独立, 则X,Y线性不相关
  • X,Y不相关, X,Y不一定独立
  • 独立与不相关是等价的

原点距: EX^k,  期望: EX, 一阶原点距

• 离散: Σ_xⁱkP_i
• 连续: ∫_-∞^+∞x^kf(x)dx

中心距: E(X-EX)^k  以EX为中心

• 一阶中心距: E(X-EX) = EX - EX = 0
• 二阶中心距: E(X-EX)²  方差
• 离散: Σ(X_i=Ex)^kP_i
• 连续: ∫_-∞^+∞(X-EX)^kf(x)dx