zoukankan      html  css  js  c++  java
  • CauchySchwarz不等式、Hölder不等式与Minkowski不等式

    本文介绍几个常用的与期望有关的不等式。

    1 Cauchy–Schwarz不等式

    Cauchy–Schwarz不等式有许多形式,这里只介绍它的期望函数的形式。

    Cauchy–Schwarz不等式

    \[[\text{E}(XY)]^2 \leq \text{E}(X^2)\text{E}(Y^2) \]

    证明非常简单,只需先将\(Y\)分解为相互正交的两部分(类似于OLS回归):

    \[Y=\dfrac{\text{E}(XY)}{\text{E}(X^2)}X+\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right) \]

    然后两边取平方,再求期望。注意到取平方后交叉项的期望

    \[\text{E}\left[\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\cdot\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right)\right]=\dfrac{\text{E}(XY)^2}{\text{E}(X^2)}-\dfrac{\text{E}(XY)^2}{\text{E}(X^2)}=0 \]

    交叉项期望为\(0\),因此,只剩平方项的期望:

    \[\begin{aligned} \text{E}(Y^2)&=\dfrac{\text{E}(XY)^2}{\text{E}(X^2)^2}\text{E}(X^2)+\text{E}\left[\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right)^2\right]\\ &\geq \dfrac{\text{E}(XY)^2}{\text{E}(X^2)} \end{aligned} \]

    得证。

    2 Hölder不等式

    事实上,Cauchy–Schwarz不等式是Hölder不等式的特例。

    Hölder不等式\(X\)\(Y\)为两个随机变量,正数\(p\)\(q\)满足

    \[\dfrac{1}{p}+\dfrac{1}{q}=1 \]

    则有

    \[\text{E}\vert XY\vert\leq \left[\text{E}\vert X\vert^p\right]^{1/p}\left[\text{E}\vert Y\vert^q\right]^{1/q} \]

    证明过程如下:首先证明对于任意正数\(a\)\(b\),且正数\(p\)\(q\)满足\(\dfrac{1}{p}+\dfrac{1}{q}=1\),必有

    \[\dfrac{1}{p}a^p+\dfrac{1}{q}b^q\geq ab \]

    当且仅当\(a^p=b^q\)时等号成立。

    该式的证明,只需构造函数\(g(a)=\dfrac{1}{p}a^p+\dfrac{1}{q}b^q - ab\),该函数最小值在\(a^{p-1}=b\)时取到\(0\),因此上式成立。

    有了这一步,再将\(a=\dfrac{\vert X\vert}{\left[\text{E}(\vert X\vert^p)\right]^{1/p}}\)\(b=\dfrac{\vert Y\vert}{\left[\text{E}(\vert Y\vert^q)\right]^{1/q}}\)代入,再对两边同时取期望,即可证得Hölder不等式。

    3 Minkowski不等式

    利用Hölder不等式,可以得到另一个重要的不等式:Minkowski不等式。

    Minkowski不等式:已知随机变量\(X\)\(Y\),当\(1\leq q<\infty\)时,必有

    \[\left[\text{E}(\vert X+Y \vert^p)\right]^{1/p}\leq \left[\text{E}(\vert X\vert^p)\right]^{1/p}+\left[\text{E}(\vert Y \vert^p)\right]^{1/p} \]

    它的证明如下:

    取满足\(\dfrac{1}{p}+\dfrac{1}{q}=1\)\(q\),有

    \[\begin{aligned} \text{E}(\vert X+Y \vert^p) =& \text{E}\left(\vert X+Y \vert \vert X+Y \vert^{p-1}\right)\\ \leq& \text{E}\left(\vert X \vert \vert X+Y \vert^{p-1}\right)+\text{E}\left(\vert Y \vert \vert X+Y \vert^{p-1}\right)\\ \leq& \left[\text{E}\left(\vert X \vert^p\right)\right]^{1/p}\left[\text{E}\left(\vert X+Y \vert^{(p-1)q}\right)\right]^{1/q}\\ & +\left[\text{E}\left(\vert Y \vert^p\right)\right]^{1/p}\left[\text{E}\left(\vert X+Y \vert^{(p-1)q}\right)\right]^{1/q}\\ =&\left\{\left[\text{E}\left(\vert X \vert^p\right)\right]^{1/p}+\left[\text{E}\left(\vert Y \vert^p\right)\right]^{1/p}\right\}\left[\text{E}\left(\vert X+Y \vert^{p}\right)\right]^{1/q} \end{aligned} \]

    其中,第一个不等式用到了三角不等式\(\vert X\pm Y\vert \leq \vert X\vert+\vert Y\vert\),第二个不等式则是直接使用Hölder不等式。

    最后两边同除以\(\left[\text{E}\left(\vert X+Y \vert^{p}\right)\right]^{1/q}\),即得证。

  • 相关阅读:
    OBJ文件格式详解
    HashMap的用法
    HashMap和Hashtable的区别
    加载物体的方法
    drawSelf(int texId)格式对应
    adb.exe诊断
    Android Eclipse如何用BlueStacks模拟器
    .md5mesh and .md5anim文件介绍
    ubuntu命令行下中文乱码的解决方案 (我采取了其中方案一与方案二,都还没成功—待定)
    Ubuntu下小巧智能的代码编辑器Scribes
  • 原文地址:https://www.cnblogs.com/analysis101/p/14632533.html
Copyright © 2011-2022 走看看