最优化基础（二）

最优化基础（二）1

向量和矩阵范数

在算法的收敛性分析中，需要用到向量和矩阵范数的概念及其有关理论。范数(norm)，是具有“长度”概念的函数。

设Rn​ 表示实n维向量空间，Rn×n​ 表示实n阶矩阵全体所组成的线性空间.在这两个空间中，我们分别定义向量和矩阵的范数.

向量范数

向量x∈Rn的范数∥x∥是一个非负数，它必须满足以下条件:

1.非负性: ∥x∥≥0,且∥x∥=0当且仅当x=0时成立 。

2.齐次性:∥λ⋅x∥=|λ|⋅∥x∥,λ∈R

3.三角不等式:||x+y||≤||x||+||y||

向量x=(x1,⋯,xn)T的p-范数定义为

∥x∥p=(∑i=1n|xi|p)1p

可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski）不等式。

常用的向量范数有:

1-范数，计算方式为向量所有元素的绝对值之和

||x||1=∑i=1n|xi|

2-范数，计算方式跟欧式距离的方式一致。

||x||2=(∑i=1n|xi|2)2

∞-范数，所有向量元素中的最大值。

||x||∞=maxi|xi|

−∞-范数，所有向量元素中的最小值。

||x||−∞=mini|xi|

## 矩阵范数

矩阵A∈Rn×n的范数是一个非负实数，它除了满足跟向量范数相似的三条性质之外，还必须具备乘法性质：

4.∥AB∥≤∥A∥∥B∥,A,B∈Rn×n

如果一矩阵范数∥⋅∥μ 相对于某向量范数∥⋅∥满足下面的不等式

5.∥Ax∥≤∥A∥μ∥x∥,x∈Rn

则称矩阵范数∥⋅∥μ 和向量范数∥⋅∥是相容的. 进一步，若存在x≠0使成立

∥A∥μ=maxx≠0∥Ax∥∥x∥=max∥x∥=1∥Ax∥,A∈Rn×n

则称矩阵范数∥⋅∥μ 是由向量范数∥⋅∥诱导出来的算子范数，简称算子范数，有时也称为从属于向量范数∥⋅∥的矩阵范数. 此时向量范数和算子范数通常采用相同的符号∥⋅∥。

不难验证，从属于向量范数∥x∥∞, ∥x∥1, ∥x∥2 的矩阵范数分别为

∥A∥∞=max1≤i≤n∑j=1n|aij|

∥A∥1=max1≤j≤n∑i=1n|aij|

∥A∥2=max{λ√|λ∈λ(ATA)}

它们分别称作行和范数、列和范数和谱范数.

通常按下述方式定义的F-范数:

||A||F=⎛⎝∑i=1m∑j=1n|aij|2⎞⎠12=tr(ATA)−−−−−−−√

向量范数的等价定理以及矩阵范数的等价定理

定理

(1)设∥⋅∥和∥⋅∥′是定义在Rn上的两个向量范数，则存在两个正数c1, c2，对所有x∈Rn均成立

c1∥x∥≤∥x∥′≤c2∥x∥

(2)设∥⋅∥和∥⋅∥′是定义在Rn×n上的两个矩阵范数，则存在两个正数m1, m2，对所有A∈Rn×n均成立

m1∥A∥≤∥A∥′≤m2∥A∥

下面，我们利用范数的概念来等价地定义向量序列和矩阵序列的收敛性.

定理:

(1) 设{x(k)}为n维向列序列，∥⋅∥为定义在Rn上的向量范数，则

limk→∞x(k)=x⇔limk→∞∥x(k)−x∥=0

(2)设{A(k)}为n×n矩阵序列，∥⋅∥为定义在Rn×n 上的向量范数，则

limk→∞A(k)=A⇔limk→∞∥A(k)−A∥=0

---

1. 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩