内积空间

一 向量空间与内积空间

    向量空间也称作线性空间，向量空间对向量线性组合封闭。如果  为向量空间 V 的一组基，则  仍在向量空间 V 中。在向量空间中，仅定义了数乘与向量加法运算。在此基础上，定义内积运算，通过内积运算，可以求解向量长度，向量间角度等概念，这就定义了内积空间。设向量为X, Y，X 长度定义为 ， X,Y 间角度定义为 。

二 内积定义

    在 空间上，有如下矢量  和 ，在几何中，矢量长度表示原点到其端点的距离，根据 Pythagorean 定理，有 。定义内积 ，则矢量 X 长度等于 ，这样建立其内积与长度关系。

    在复矢量空间 中，有如下矢量  和 ，定义内积 。 如何理解复矢量内积？首先，针对单个复数 ，

有 ，使用共轭乘法可求解复数长度。当两个不同复数共轭乘法时，，其结果仍然为一个复数，可分解为实数分类与虚数分量。复矢量内积就是对所得复数相加得到一个结果，最终结果一般包括实数分量与虚数分量部分，即一般结果为  形式。

    内积满足如下性质：

    1）正性：如果 v 为非零向量， <v, v> > 0， 该性质对实矢量与复矢量均成立；

    2）共轭对称性：，针对复矢量，该等式成立，针对实矢量，共轭运算等于本身，则内积运算对称；

    3）均匀性：， 针对复矢量时 c 为复数，实矢量时 c  为实数；

    4）线性：<u + v, w> = <u, w> + <v, w>,  <u, v + w> = <u, v> + <u, w>, 针对复矢量与实矢量均成立。

三  空间与  空间

    一个信号可表示为 f(t) 的函数，在区间  上 ，空间  表示所有平方可积函数组成的空间，即

    

    函数 f(t) 可以存在无穷多个间断点，使用 Lebesgue 观点，即不考虑测度为零的集合时，在区间  上的积分和有限。在 N 维向量空间中，空间维度为 N，向量长度也为 N。类比 N 维向量空间，空间  是无限维的（即无限个 f(t) 满足以上条件）， 区间  可以被无限细分，类似向量长度可以无限长。

    假设 f(x), g(x) 是  空间中的信号，将区间 [0, 1] 离散化为 N  等分，构成 N 为向量 ，，当 N 趋近无穷大大时， 

    , ， 则 ， 。

    当逐渐增大 N 时，  也随着逐渐增大，由于  空间为无限维空间，如果按该方法定义内积将得到一个无限大值（在向量空间中，由于空间维度有限，使用乘积和定义是合理的，其物理意义也很明确）。改进的方法为使用无限和平均值，则有 。当 N 趋近无穷大时，该式为 Riemann 和近似，则 内积可定义为：

    ， 。

     空间内积同样满足 正性，共轭对称性，均匀性以及线性等性质。

    由于在 Lebesgue 积分过程中，不考虑测度为零的间断点，则在  空间中定义两个函数相等意味着除了零测度集外，只要其他区域上满足 f(t) = g(t) 即认为函数相等。

    在信号处理应用中，存在很多无限离散序列，，该离散序列在 j > |N| 时，，这定义了  的离散形式：

    ，这里不再像  定义使用平均值是因为离散序列在 j > |N| 时，。

     空间中可以使用两种方式定义收敛：

    1）收敛定义为：给定任意足够小 ，存在一个足够大的非负整数 N，使得当  时， 有  ；

       以上定义中使用  内积概念，由于积分过程不考虑测度为零的间断点，所以并不保证在任意点上两函数都无限接近；

    2）一致收敛定义为：给定任意足够小 ，存在一个足够大的非负整数 N，使得当  时， 在区间 上任意点都满足 ；

                 

    根据以上图形，很容易得到如下结论：若  一致收敛到 f，则  一定  收敛到 f；反之，则不一定成立。

四 Schwarz不等式与三角不等式

    1) Schwarz不等式： ；

    2）三角不等式：  ；

    Schwarz不等式在实空间下证明：

    考虑不等式 ，其中 t 为实数变量，使用内积公式展开得：

    ，由于该不等式大于或等于零，关于 t 的二次函数判别式小于等于零；

    ， 整理得：，结论得证。

    Schwarz不等式在复空间下证明：

    在复空间下内积结果一般为一复数，即 。要使 X, Y 内积为一实数，可以对 X 做反方向旋转，故可考虑如下不等式：

    ，其中 t 为实数变量， 使内积结果为一实数，展开不等式得：

    ，

   根据共轭对称性质 ，最终得到：

    ，当旋转合适  后， 退化为实数  。使用二次多项式判别式结论得证。

    三角不等式证明：

    ，因为 ，

   所以有 ，两边开平方后结论得证。

五 正交

    在内积空间 V 中，

    1）X, Y 属于 V ，如果 <X, Y> = 0, 根据余旋定理可得 X, Y 正交；

    2）矢量集 中每个矢量 ，如果  且彼此正交，则矢量集  正交；

    3）如果 ，一个子空间中每个矢量与另一个子空间每个矢量正交，则子空间  正交；

    在小波变换与傅里叶变换中，分别用到两个不同得正交矢量集，haar小波函数与三角函数，具体如下：

    haar小波函数包括尺度函数 ，小波函数 ，在  空间中，根据内积定义，，正交。

    三角函数 f(t) = sint, g(t) = cost, 在  空间中， 根据内积定义，，f, g 正交。

    矢量可以根据某个正交基展开，

   1）如果  是内积空间 V 的一个子空间， 的正交基为 ，若 ，则 ；

   2）如果  是内积空间 V 的一个子空间， 的正交基为 ，若 ，则 ，

         且  ，也即 ；

   当  时， 有如下推导：

   使用正交基  将 v 展开得：，其中  为各分量系数，且未知；

   令 k 为 [1,N] 区间中一具体整数，做如下运算：，由矢量基的正交性可得：；

   将  代入得：，结论得证。

   当  时，v 无法由  线性张成，但可以在  空间中找到一个离 v 最近得向量 ，使得 ，推导如下：

   假设  是  空间最接近 v  的矢量，构造函数：，由于 是  空间最接近 v 的矢量，则当 t = 0 时函数取得最小值；

   考虑实矢量情况下，，然后对 f(t) 求导：

   ，由于 t = 0 时函数取得最小值，则有 ，即 。

    假设  可写成正交基 的线性组合，，由于 ，有 ，

    根据内积线性性质，化简得： ，求得 ，即 。

    内积空间可被分为  与正交补 ，

    定义为：，对任意矢量 ，可以唯一表示 ，其中，。

   使用 Gram-Schmidt 方法可正交化一组基，

   内积（子）空间 V 中存在一组基 ，可以寻找一组对应正交基 ，其中 ，具体方法如下：

   1）定义 ；

   2） 在  上投影为：，则 ，，确保  且 ；

   3） 在 ， 上投影为：，，；

   4）重复以上过程知道求解出 ，完成 Gram-Schmidt 正交化。

参考资料   小波与傅里叶分析基础 Albert Boggess & Francis J. Narcowich