- 符号说明
- [Jensen’s inequality]
- [Young's inequality] $ab le frac{a^p}{p} + frac{b^q}{q}$
- [Holder's inequality] $|xy|_1 le |x|_p |y|_q$
- [trace-nuclear] $mathrm{Tr}(A^TB) le |A||B|_*$
- [算术-几何平均不等式] $a{ heta}b{1- heta} le heta a +(1- heta)b$
- [Gibb's inequality] $-sum limits_{i=1}^np_i log p_i le -sum limits_{i=1}^n p_ilog q_i$
- [Gronwall's inequality] $u(t) le f(t)e{int_0th(s)mathrm{d}s}$
- [$C_p$ inequality] $(|a|+|b|)^p le C_p(|a|p+|b|p)$
符号说明
矩阵(A in mathbb{R}^{m imes n})
(|A|):矩阵(A)的谱范数
(|A|_*): 矩阵(A)的核范数
(|A|_F): 矩阵(A)的F范数
(mathrm{rank}())表示矩阵的秩。
[Jensen’s inequality]
(f( heta x + (1- heta)y) le heta f(x)+(1- heta)f(y))
如果(f:mathbb{R}^n ightarrow mathbb{R})为凸函数,( heta in [0, 1]),(x,yin mathrm{dom}f)那么:
实际上,上述为凸函数的定义,为比较一般的Jensen’s inequality。
(f( heta_1 x_1 + ldots + heta_k x_k) le heta_1 f(x_1)+ldots+ heta_k f(x_k))
如果(f:mathbb{R}^n ightarrow mathbb{R})为凸函数,( heta_i in [0, 1], sum limits_{i=1}^k heta_i =1),(x_1, ldots, x_k in mathrm{dom}f)那么:
证:假设( heta_1 = 0 或者 1)时,不等式是一定成立的,所以假设( heta_1 in (0,1))。
令( heta = heta_1, heta' = 1- heta),(x = x_1, heta'y = heta_2 x_2 + ldots + heta_k x_k),根据凸函数的定义可得:
(sum limits_{i=2}^k heta_i / heta'=1),所以,同样满足条件,所以通过数学归纳法即可证明上述等式。
(f(int_S p(x)x : mathrm{d}x) le int_S f(x)p(x) mathrm{d}x)
如果在(S subseteq mathrm{dom} f)上,(p(x) ge 0),且(int_S p(x) : mathrm{d}x=1),则当相应的积分存在时:
试证(注意,是试证):
令( heta_i = p(x_i) Delta x_i, i=1,2,ldots,k),且满足(sum limits_{i=1}^k heta_i =1)(这个性质至少在p(x)是连续函数的时候是能够满足的),那么根据第二形态Jensen’s inequality可以得到:
令(max |Delta x_i| ightarrow 0)即可得积分形式不等式(当然,里面含有一个极限和函数互换的东西,因为凸函数一定是连续函数,所以这个是可以互换的,应该没弄错)。
(f(mathrm{E}x) le mathrm{E}(f(x)))
如果(x)是随机变量,事件(x in mathrm{dom}f)发生的概率为1,函数(f)为凸函数,且相应的期望存在时:
证:
令(S = domf),随机变量(x)的概率密度函数为(p(x)),则(int_S p(x)=1),于是,根据积分形式的Jensen’s inequality即可得:
[Young's inequality] (ab le frac{a^p}{p} + frac{b^q}{q})
设(p,q in [1, +infty))且均为实数,满足:
若(a, b>0)亦为实数,那么:
证1:
对于(x in mathbb{R}^+, alpha in (0, 1)),有(x^{alpha} le 1 + alpha (x-1))(因为(x^{alpha})为凹函数,而不等式右边是在点((1, 1))的切线)。令(x = b/a, alpha = 1/q) ,可得:
令(a:=a^p, b:=b^q),代入即可得,另外(a,b=0)的时候不等式必成立,结果得证。
证2:
考察(Oxy)平面上由方程(y=x^{p-1})所定义的曲线,它也可以表示为(x=y^{frac{1}{p-1}}=y^{q-1}),作积分得:
显然:
只有当(b^q = a^p)的时候,不等式才得以成立,证毕。
[Holder's inequality] (|xy|_1 le |x|_p |y|_q)
离散形式
设(p, q in [1, +infty)),且(frac{1}{p}+frac{1}{q}=1),(x, y in C^{n}),其中(C)表示复数域,则:
注意,(m imes n)的矩阵可以看成是(mn)维的向量。
证:
令
则有(sum limits_{k=1}^n a_k^p = 1, sum_{k=1}^n b_k^q = 1),由杨不等式(a_kb_k le frac{a_k^p}{p} + frac{b_k^q}{q})求和,得
即
所以得证。
另外需要一提的是(n
ightarrow + infty),且右端俩式收敛,则这个式子也对于(n
ightarrow +infty)也可成立。
积分形式
设(p, q in [1, +infty)),且(frac{1}{p}+frac{1}{q}=1),(x(t), y(t), tin [t_0, t_1]),且
均存在,则
证:
令
则有(int_{t_0}^{t_1}a^p mathrm{d}t=1, : int_{t_0}^{t_1}b^q mathrm{d}t=1),并由杨不等式(able frac{a^p}{p} + frac{b^q}{q})并积分可得:
即
证毕。
[trace-nuclear] (mathrm{Tr}(A^TB) le |A||B|_*)
证明:
根据(|B|_*)的对偶定义:
令(A := alpha A)代之,则(|A| = alpha)
因为(B)是任意的,所以不等式对任意的(A,B)都成立(当然前提是能做矩阵的乘法).
[算术-几何平均不等式] (a^{ heta}b^{1- heta} le heta a +(1- heta)b)
如果(a,bge 0),( heta in [0, 1]),那么
( heta = 1/2)时,(sqrt{ab} le (a+b)/2)
证1:因为(-log x)为定义在((0, +infty))上的凸函数,根据[Jensen’s inequality]可得:
俩边取指数可得:
所以
证2:
根据[Young's inequality]可得:
令(a = a^{ heta}, b = b^{1- heta}),(p = 1/ heta,q=1/(1- heta)),(p,q)满足条件,所以:
[Gibb's inequality] (-sum limits_{i=1}^np_i log p_i le -sum limits_{i=1}^n p_ilog q_i)
假设(P={p_1, ldots, p_n}, Q={q_1, ldots, q_n})分别为一个概率分布, 那么有下列不等式成立:
等价于:
亦等价于:
当且仅当(p_i=q_i)时等式成立.
这意味着是KL散度:
证1:
因为(log a = frac{ln a}{ln 2}), 所以我们简单证明(ln)的不等式即可.
用(I)表示(p_i > 0)的指示集,又(ln x le x-1, x>0), 故:
经过延拓(0ln0=0), 则上式成立, 又(x=1)的时候(ln x = x-1), 所以(p_i=q_i, iin I), 又因为(sum_{iin I} p_i=1), 所以(sum_{iin I} q_i=1), 所以(p_i=q_i=0, i ot in I), 故(p_i =q_i, i=1,2,ldots, n)
证2:
因为(-log)严格凸,所以利用[Jensen' inequality]可以得到:
而根据[Jensen' inequality]等式成立的条件可以得到:
且(sum_i q_i=sum p_i =1)所以(p_i=q_i)时等式成立,(p_i=0)的情况和上面一样讨论.
自然,该不等式可以推广到积分形式:
[Gronwall's inequality] (u(t) le f(t)e^{int_0^th(s)mathrm{d}s})
假设(f)在([0, +infty))上非负,单调递增, (h, u in mathrm{C}[0, +infty)),且(h)非负, 满足:
则:
注意:
如果
并不能推出:
但是当(f(t)equiv C_0 ge 0)的时候, 是有此类性质的(可用类似证1的方法证明).
证1:
记: (w(t)=int_0^t h(s)u(s) mathrm{d}s), 则(w(0)=0), (w'(t)=h(t)u(t)), 可得:
即:
记(H(t)=int_0^t h(s)mathrm{d}s), 则(H(0)=0, H'(t)=h(t)).
俩边同乘以(e^{-H(t)}),不改变符号:
俩边是同时在([0, t])上积分得:
注意到(因为(f(t))单增, 且积分内部为非负):
所以:
证毕.
证2((u)需非负):
则:
俩边在([0,t])上积分:
注意,因为(f(t))是单增的,所以(sin[0, t])时:
所以:
所以:
其中(H(t)=int_0^t h(s) mathrm{d}s).
俩边令(epsilon
ightarrow0)得:
证毕.
证3:
令(M(T)=max limits_{0le tle T} int_0^t h(s)u(s)mathrm{d}s),
则:
于是:
因为(f(t))单增, 所以:
记(H(t)=int_0^t h(s)mathrm{d}s), 可得:
于是:
注意到:
所以:
重复此类操作可得:
令(n ightarrow + infty):
证毕.
注:
最后这部分也可以利用:
来证明, 但是我觉得如果是俩边取极限,那就不必考虑(t)得正负问题了,虽然多此一举,但是更酷啊.
[(C_p) inequality] ((|a|+|b|)^p le C_p(|a|^p+|b|^p))
假设(a, b)为实数,(p>0), 则
其中
证明:
(0<ple1): 考虑函数(f(x) = (1+x)^p-x^p-1, x ge 0), 其导数为
则(f(x))在([0,+infty))上单调递减,由(f(0)=0), 所以(f(x)le0). 代入(|b|/|a|(a ot =0))即得:
显然,(a=0)时也成立.
(p>1): 考虑凸函数(|x|^p)可得:
证毕.