概率论与数理统计总结

前置知识：

(1.)高中数学相关知识。

(2.)高等数学（微分，定积分，不定积分，泰勒展开，极限等）

• 定积分常用计算方式：牛顿—莱布尼兹公式：（(F())为(f())的原函数，即(F^{'}()=f())）

[int_a^b{f(x)dx}=F(b)-F(a) ]

• 泰勒中值定理(1)：(f(x)=f(x_0)+f'(x_0)(x-x_0)+frac{f''(x_0)}{2!}(x-x_0)^2+...+frac{f^{(n)}(x_0)}{n!}(x-x_0)^n+R_n(x))，满足(f(x))在(x_0)处有(n)阶导数，(x)为(x_0)的一个邻域中的任意值，(R_n(x)=o((x-x_0))^n)称为佩亚诺余项。
• 泰勒中值定理(2)：(f(x)=f(x_0)+f'(x_0)(x-x_0)+frac{f''(x_0)}{2!}(x-x_0)^2+...+frac{f^{(n)}(x_0)}{n!}(x-x_0)^n+R_n(x))，满足(f(x))在(x_0)的某一邻域中有(n+1)阶导数，(x)为(x_0)该邻域中的任意值，(R_n(x)=frac{f^{n+1}(xi)}{(n+1)!}(x-x_0)^{n+1})称为拉格朗日余项((xi)在(x_0)和(x)之间())。
• 麦克劳林公式：取(x_0=0,xi= heta x(0< heta<1))时的泰勒展开。
• 常见的麦克劳林公式（重要）
  • (e^x=1+x+frac{x^2}{2!}+frac{x^3}{3!}+...+frac{x^n}{n!}+frac{e^{ heta x}}{(n+1)!}x^{n+1})
  • (sinx=x-frac{x^3}{3!}+frac{x^5}{5!}-...+(-1)^{m-1}frac{x^{2m-1}}{(2m-1)!}+R_{2m}(x))

(3.)微分中值定理（罗尔，拉格朗日中值，柯西中值）（理解联系斜率）

• 罗尔定理：(f(x))满足([a,b])上连续，((a,b))上可导，(f(a)=f(b))则(existsxi(a<xi<b))有(f'(xi)=0)
• 拉格朗日中值定理：(f(x))满足([a,b])上连续，((a,b))上可导，则(existsxi(a<xi<b))有(f(b)-f(a)=f'(xi)(b-a))
• 柯西中值定理：(f(x),F(x))满足([a,b])上连续，((a,b))上可导，(forall xin(a,b)F'(x) e0)则(existsxi(a<xi<b))有(frac{f(a)-f(b)}{F(a)-F(b)}=frac{f'(xi)}{F'(xi)})

第一章：基本概念（还是略了吧，真的就是高中知识……）

第二章：随机变量及其分布

(1.)一般来说，随机变量分为离散型和连续型，离散型可以用数列来类比，而连续型可以用函数来类比。

​ 注意，连续型中定积分相当于离散型中的(Sigma)。

(2.)(P{X})表示随机变量为(X)时的概率，以下是几个重要的分布

• ((0-1))分布：(P{X=k}=p^k(1-p)^k,k=0,1,(0<p<1))

• 伯努利实验：实验结果仅有发生或不发生两种情况。

• (n)重伯努利实验：做(n)次伯努利实验，事件发生次数。

• 二项分布：(P{X=k}={n choose k} p^k(1-p)^{n-k},k=0,1,2,3...)我们称随机变量(X)服从参数为(n,p)的二项分布，记为(Xsim b(n,p))

• 泊松分布：(P{X=k}=frac{lambda^ke^{-k}}{k!},k=0,1,2...,lambda>0)我们称随机变量(X)服从参数为(lambda)的泊松分布，记为(Xsim pi(lambda))

• 关于泊松分布，可以利用泊松定理与二项分布建立联系，当(np_n=lambda)时即有

  [lim_{n oinfty}{n choose k}p^k_n(1-p_n)^{n-k}=frac{lambda^ke^{-k}}{k!} ]

(3.)分布函数(F(x))，在一维的情况下，当成前缀和看就好，即有：(F(x)=P{Xleq x},F(-infty)=0,F(infty)=1)

(4.)对分布函数积一下，就有概率密度(f(x))，即：(F(x)=int^x_{-infty}f(t)dt,P{x_1<Xleq x_2}=int^{x_2}_{x_1}f(x)dx)

• 均匀分布：随机变量(X)有概率密度

  [f(x)=left{egin{array}{ll}frac{1}{b-a}& a<x<b\0&xleq a||xgeq bend{array} ight. ]

  我们称(X)在区间((a,b))上服从均匀分布，记为(X～U(a,b))。

• 指数分布：随机变量(X)有概率密度(( heta>0))

  [f(x)=left{egin{array}{ll}frac{1}{ heta}e^{-frac{x}{ heta}}&x>0\0&xleq 0end{array} ight. ]

  我们称(X)在区间((a,b))上服从参数为( heta)的指数分布。

• 正态分布（这玩意儿和(e^x)有神似之处，用心体会）：随机变量(X)有概率密度(mu,sigma)为常数((sigma>0))

  [f(x)=frac{1}{sqrt{2pi}sigma}e^{-frac{(x-mu)^2}{2sigma^2}},-infty<x<infty ]

  我们称(X)在区间((a,b))上服从参数为(mu,sigma)的正态分布，记为(Xsim N(mu,sigma^2))。

  • 正态分布(f(x))图像最高点在(x=mu)处，(sigma)决定其形状。

  • (mu=0,sigma=1)时我们称随机变量服从标准正态分布，即

    [varphi(x)=frac{1}{sqrt{2}sigma}e^{-frac{x^2}{2}},-infty<x<infty ]

  • 若(Xsim N(mu,sigma^2))则(Z=frac{X-mu}{sigma}sim N(0,1))，应用这个加查表，我们可以求出任意的正态分布概率密度。

第三章 多维随机变量及其分布

(1.)首先第一个重点，多维要学会偏导，将一维看做常数，对另一个进行求导。

(2.)(F(x,y))（成为联合分布概率）定义类似上面的，用面积和理解即可，(f(x,y)=frac{partial^2 F(x,y)}{partial xpartial y})，求法：先对(F(x,y))的(x)求导，再对结果的(y)求导。

(3.)边缘概率密度：(f_x(x)=int^infty_{-infty}f(x,y)dy,f_y(x)=int^infty_{-infty}f(x,y)dx)。

• 对于一个(f(x))，若其在([-a,a])上可积则有：

  [int^a_{-a}f(x)dx=left{ egin{array}{ll}2int^a_0f(x)dx&f(-x)=f(x)\0&f(-x)=-f(x)end{array} ight. ]

• 二维正态分布：

  • 联合分布：

    [f(x)=frac{1}{2pisigma_1sigma_2sqrt{1- ho^2}}exp{frac{-1}{2(1- ho^2)}[frac{(x-mu_1)^2}{sigma_1^2}-2 hofrac{(x-mu_1)(y-mu_2)}{sigma_1sigma_2}+frac{(y-mu_2)^2}{sigma_2^2}]} ]

  • 边缘分布满足一维的正态分布。

(4.)条件概率：(P{X=x_i|Y=y_i}=frac{P{X=x_i,Y=y_i}}{P{Y=y_i}}=frac{p_{ij}}{p_{cdot j}})

• 条件概率密度：(f_{X|Y}(x_y)=frac{f(x,y)}{f_y(y)})（可以运用此式倒推联合分布密度）

• 均匀分布：设(G)为平面区域上的有界区域，面积为(A)，((X,Y))具有概率密度：

  [f(x,y)=left{ egin{array}{ll} frac{1}{A}&(x,y)in G\0&(x,y) otin Gend{array} ight. ]

  我们称((X,Y))在(G)上服从均匀分布（其边缘分布不一定服从均匀分布）

(5.)相互独立的随机变量：判定方法：(P{Xleq x,Yleq y}=P{Xleq x}P{Yleq y},f(x,y)=f_X(x)f_Y(y))

第四章：随机变量的数字特征：

(1.)数学期望（本质上是加权平均）：(E(X)=int^infty_{-infty}xf(x)dx)

• 二项分布：(E(X)=np)

• 正态分布：(E(X)=mu)

• 均匀分布：(E(X)=frac{a+b}{2})

• 泊松分布：(E(X)=lambda)（证明再次用到了麦克劳林公式）

• 指数分布：(E(X)= heta)（证明）（注：证明中的(lambda)与这里的( heta)互为倒数，这里写( heta)只是为了和书上一致）

• 定理：若随机变量(X)的概率密度为(f(x))，(int^infty_{-infty}g(x)f(x)dx)绝对收敛，则有：

  [E(Y)=E(g(X))=int^infty_{-infty}g(x)f(x)dx ]

• 注意：(E(X))为一个常数。(E(CX)=CE(X),E(X+Y)=E(X)+E(Y),E(XY)=E(X)E(Y))

(2.)方差：(D(x)=int^infty_{-infty}[x-E(X)]^2f(x)dx=E(X^2)-[E(X)]^2)

• 随机变量(X)具有数学期望(E(X)=mu,D(x)=sigma^2)则(X^*=frac{X-mu}{sigma})成为(X)的标准化变量。

• 正态分布：(D(X)=sigma^2)

• 泊松分布：(D(X)=lambda)

• 均匀分布：(D(X)=frac{(b-a)^2}{12})

• 指数分布：(D(X)= heta^2)

• 二项分布：(D(X)=np(1-p))

• (D(C)=0,D(CX)=C^2D(X),D(C+X)=D(X))

• (D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))})，特别的，当(X,Y)相互独立时有(D(X+Y)=D(X)+D(Y))

(3.)协方差及相关系数：

• 协方差：(Cov(X,Y)=E{[X-E(X)][Y-E(Y)]})，相关系数：( ho_{XY}=frac{Cov(X,Y)}{sqrt{D(X)D(Y)}})

• 协方差性质：(Cov(aX,bY)=abCov(X,Y),Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y))

• 柯西施瓦茨不等式：(|Cov(X,Y)^2|leq D(X)D(Y))

• 当( ho_{XY}=0)时，称(X,Y)不相关。二维正态分布中的( ho)就是(X,Y)的相关系数( ho_{XY})

后面剩下的到大学学完再更吧……