向量的范数

将学习到什么

范数可以看成 Euclid 长度的一种推广，范数在有关数值计算的算法分析以及估计中自然出现。本部分介绍其定义、内积导出的范数和相关的例子.

---

定义

 
实的或者复的向量空间上的范数的四条公理如下所示：
 
  定义 1： 设 (V) 是域 (mathbf{F})（(mathbf{F}=mathbb{R}) 或者 (mathbb{C})）上的一个向量空间. 函数 (lVert cdot Vert : V ightarrow mathbb{R}) 称为是一个范数，有时也称为向量范数，如果对所有 (x,y in V) 以及所有 (cin mathbf{F})）,
  (1) $lVert x Vert geqslant 0 $，非负性
  (1a) $lVert x Vert = 0 $ 当且仅当 (x=0)，正性
  (2) $lVert cx Vert = lvert c vert lVert x Vert $，齐性
  (3) (lVert x+y Vert leqslant lVert x Vert+ lVert y Vert)，三角不等式
 
这四个公理表达了平面上的 Euclid 长度的某些熟知的性质. Euclid 长度也有一些性质不能由这四条推出，比如平行四边形恒等式. 三角不等式表示的范数有次加性. 满足定义 1 中公理 (1)、(2) 以及 (3) 的函数 (lVert cdot Vert : V ightarrow mathbb{R}) 称为半范数. 非零向量的半范数有可能为零.
 
  引理 2 ： 如果 (lVert cdot Vert) 是在一个实的或者复的向量空间 (V) 上的一个半向量范数，那么对所有 (x,y in V) 都有 (lvert lVert x Vert - lVert y Vert vert leqslant lVert x-y Vert).
  证明：用 (y=x+(y-x)) 和 (x=y+(x-y)) 结合三角不等式推出.
 
与 (mathbb{R}^n) 或者 (mathbb{C}^n) 上的 Euclid 长度相关联的是向量 (y) 关于 (x) 的 Euclid 内积 (y^*x)，它与两个向量之间的“角度”有某种关系：如果 (y^*x=0)，则 (x) 与 (y) 正交.
 
  定义 3： 设 (V) 是域 (mathbf{F})（(mathbf{F}=mathbb{R}) 或者 (mathbb{C})）上的一个向量空间. 函数 (langle cdot, cdot angle)：(V imes V ightarrow mathbf{F}) 称为一个内积，如果对所有 (x,y,z in V) 以及所有 (c in mathbf{F})，
  (1) (langle x, x angle geqslant 0)，非负性
  (1a) (langle x, x angle = 0) 当且仅当 (x=0)，正性
  (2) (langle x+y, z angle = langle x, z angle +langle y, z angle)，加性
  (3) $langle cx, y angle = c langle x,y angle $，齐性
  (4) $langle x, y angle = overline{langle y, x angle} $， Hermite 性质
 
公理 (2)、(3) 以及 (4) 表明 (langle cdot, cdot angle) 是一个半双线性函数，公理 (1a) 以及 (1) 要求当 (x eq 0) 时有 (langle x, x angle > 0). (mathbb{C}^n) 上的 Euclid 上的内积 $langle x, y angle = y^*x $ 满足内积五条公理.
 
设 (a,b,c,d in mathbf{F}) 以及 (x,y,w,z in mathbf{F}^n). 从定义 3 中的五条公理推导出下面的性质：
  (a) (langle x, cy angle = ar{c} langle x, y angle)
  (b) (langle x, y+z angle = langle x, y angle +langle x, z angle)
  (c) (langle ax+by, cw+dz angle = aar{c}langle x, w angle + bar{c}langle y, w angle + aar{d}langle x, z angle + bar{d}langle y, z angle)
  (d) (langle x, langle x, y angle y angle = lvert langle x,y angle vert ^2)
  (e) 对所有 (y in V) 都有 $langle x, y angle = 0 $ 的充分必要条件是 (x=0).
 
性质 (a)~(d) 为所有的半双线性函数所具有，只有性质 (e) 依赖公理 (1) 以及 (1a). Cauchy-Schwarz 不等式是所有内积的一个重要性质.
 
  定理 4（Cauchy-Schwarz 不等式）： 设 (langle cdot, cdot angle) 是域 (mathbf{F})（(mathbf{F}=mathbb{R}) 或者 (mathbb{C})）上向量空间 (V) 上的一个内积. 那么
egin{align}
lvert langle x,y angle vert ^2 leqslant langle x, x angle langle y, y angle , quad ext{对所有}\,\, x,y in V
end{align}
其中的等式当且仅当 (x) 与 (y) 线性相关时成立，即当且仅当对某个 (alpha in mathbf{F}) 有 (x=alpha y) 或者 (y=alpha x) 时成立.
 
  推论 5： 如果 (langle cdot , cdot angle) 是实的或者复的向量空间 (V) 上的内积，那么由 (lVert x Vert = langle x, x angle ^{1/2}) 定义的函数 (lVert cdot Vert)：(V ightarrow [0,infty)) 是 (V) 上的一个范数.
 
如果 (langle cdot , cdot angle) 是实的或者复的向量空间 (V) 上的内积，(V) 上的函数 (lVert x Vert = langle x, x angle ^{1/2}) 称为从内积导出的，推论 5 确保 $lVert cdot Vert $ 是 (V) 上的一个范数.
 
满足定义 3 中的内积定理 (1)、(2)、(3) 以及 (4) 但不一定满足公理 (1a) 的函数 (langle cdot , cdot angle)：(V imes V ightarrow mathbf{F}) 称为一个半内积，它是这样的一个半双线性函数：对所有 (xin V) 满足 (langle x, x angle geqslant 0). 有关内积的一个重要的事实是：与内积一样，它们满足 Cauchy-Schwarz 不等式.
 
  定理 6： 设 (langle cdot , cdot angle) 是域 (mathbf{F})（(mathbf{F}=mathbb{R}) 或者 (mathbb{C})）上一个向量空间 (V) 上的半内积. 那么对所有 (x,y in V) 有 $ lvert langle x,y angle vert ^2 leqslant langle x, x angle langle y, y angle $，且由 (lVert x Vert = langle x, x angle ^{1/2}) 定义的函数 (lVert cdot Vert)：(V ightarrow [0,infty)) 是 (V) 上的一个半范数.
 

范数的例子与内积的例子

 
向量 (x=[x_1 cdots x_n]^T in mathbb{C}^n) 的 Euclid 范数（(l_2) 范数）
egin{align}
lVert x Vert _2 = (lvert x_1 vert ^2 + cdots + lvert x_n vert ^2)^{1/2}
end{align}
可能是最为熟知的范数，因为 (lVert x-y Vert _2) 度量的是两个点 (x,y in mathbb{C}^n) 之间的标准的 Euclid 距离. 它是由 Euclid 内积（即 (lVert x Vert _2 = langle x, x angle ^{1/2} = (x^*x)^{1/2}) ）导出的，且它是酉不变的：对所有的 (x in mathbb{C}^n) 以及每个酉矩阵 (U in M_n) 都有 (lVert Ux Vert _2=lVert x Vert _2). 事实上， Euclid 范数的正的纯量倍数是 (mathbb{C}^n) 上仅有的酉不变的范数.
 
(mathbb{C}^n) 上的和范数（(l_1) 范数）是
egin{align}
lVert x Vert _1 = lvert x_1 vert + cdots + lvert x_n vert
end{align}
这个范数也称为曼哈顿范数，也称为出租车范数，因为它模拟的是出租车在垂直的街道以及大道组成的网络上穿越的距离. 它是 (mathbb{C}^n) 上的范数，却不是由内积导出的且不满足平行四边形恒等式.
 
(mathbb{C}^n) 上的最大值范数（(l_{infty}) 范数）定义为
egin{align}
lVert x Vert _{infty} = max { lvert x_1 vert ,cdots, lvert x_n vert }
end{align}
(l_{infty}) 范数不是由内积导出的.
 
(mathbb{C}^n) 上的 (l_p) 范数定义为
egin{align}
lVert x Vert _p = (lvert x_1 vert ^p + cdots + lvert x_n vert ^p)^{1/p},quad p geqslant 1
end{align}
 
(mathbb{C}^n) 上一个重要的离散的范数族填补了和范数与最大值范数之间的空隙. 对每一个 (k=1,cdots,n), 向量 (x) 的 (k) 范数是通过将 (x) 的元素的绝对值按照非增次序排列，并将 (k) 个最大的值相加所得到的，即
egin{align}
lVert x Vert _{[k]} = lvert x_{i_1} vert + cdots + lvert x_{i_k} vert, quad ext{其中} ,, lvert x_{i_k} vert geqslant cdots geqslant lvert x_{i_n} vert
end{align}
(k) 范数在酉不变矩阵范数的理论中起着重要的作用. 可以验证：对每一个 (k=1,2,cdots,)，$lVert cdot Vert _{[k]} $ 都是 (mathbb{C}^n) 上的范数，且 (lVert cdot Vert _{infty}= lVert cdot Vert _{[1]} leqslant lVert cdot Vert _{[2]} leqslant cdots leqslant lVert cdot Vert _{[n]} = lVert cdot Vert _1).
 
(mathbb{C}^n) 上任意一个范数都可以通过一组基用来定义 (n) 维实的或者复的向量空间 (V) 上的范数． 如果 (mathscr{B}={b^{(1)}, cdots, b^{(n)}}) 是 (V) 的一组基，又如果将 (x=sum_{i=1}^nx_ib^{(i)}) 表示为基向量的线性组合，那么映射 (x ightarrow [x]_{mathscr{B}}=[x_1cdots x_n]^Tin mathbb{C}^n) 就是 (V) 到 (mathbb{C}^n) 上的一个同构. 如果 (lVert cdot Vert) 是 (mathbb{C}^n) 上任意一个给定的范数，那么 (lVert x Vert_{mathscr{B}}=lVert [x]_{mathscr{B}} Vert) 就是 (V) 上的范数.
 
设 (Sin M_{m,n}) 是列满秩的，故有 (mgeqslant n). 设 (lVert cdot Vert) 是 (mathbb{C}^n) 上一个给它的范数，并对 (x in mathbb{C}^n) 定义 (lVert x Vert _S=lVert Sx Vert)，那么，(lVert x Vert _S) 是 (mathbb{C}^n) 上一个范数.
 

---

应该知道什么

• 掌握相关定义
• Cauchy-Schwarz 不等式
• Euclid 范数的正的纯量倍数是 (mathbb{C}^n) 上仅有的酉不变的范数
• (mathbb{C}^n) 上任意一个范数都可以通过一组基用来定义 (n) 维实的或者复的向量空间 (V) 上的范数