矩阵卷积，离散有限维线性时不变系统
与上一节课连续无限维线性时不变系统有相同的描述：当且仅当线性算符是用卷积表达的，该系统才是线性时不变系统（LTI system）。
$underline{w} = Av = underline{h}* underline{v}$
上述等式表达了离散有限维的线性时不变系统，它能表达成脉冲响应与输入的矩阵乘积，也能表达成矩阵间的卷积。
下面我们通过一个例子加深对线性时不变系统的理解。
例，假设有LTI系统
$underline{w} = Av = underline{h}* underline{v} qquad ,underline{h}=egin{pmatrix}1\ 2\ 3\ 4\end{pmatrix}$
求该LTI系统矩阵$A$。
根据上节课学习到的知识，我们知道矩阵$A$是该LTI系统的脉冲响应，即
$egin{align*}
A
&=A[underline{delta}_0,underline{delta}_1,underline{delta}_2,underline{delta}_3] \
&=[Aunderline{delta}_0,Aunderline{delta}_1,Aunderline{delta}_2,Aunderline{delta}_3]\
&=[underline{h}*underline{delta}_0,underline{h}*underline{delta}_1,underline{h}*underline{delta}_2,underline{h}*underline{delta}_3]\
&=left[
egin{bmatrix}
1\
2\
3\
4
end{bmatrix}
egin{bmatrix}
4\
1\
2\
3
end{bmatrix}
egin{bmatrix}
3\
4\
1\
2
end{bmatrix}
egin{bmatrix}
2\
3\
4\
1
end{bmatrix}
ight ] qquad delta shift property\
&=egin{bmatrix}
1 &4 &3 &2 \
2 &1 &4 &3 \
3 &2 &1 &4 \
4 &3 &2 &1
end{bmatrix}
end{align*}$
这类矩阵被称为循环矩阵（circulant matrix），具有周期性。这里的周期性是指矩阵的每一列都是由前一列移位得到的。
线性时不变系统的特征值，特征函数/特征向量
连续无限维空间
在连续无限维空间内，LTI系统有如下表示
$w(t) = Lv(t) = (h*v)(t)$
它的傅里叶变换为
$mathcal{F}w = mathcal{F}hmathcal{F}v$
转换成下面的符号表示
$W(s) = H(s)V(s)$
其中$H(s)$被称为传递函数
LTI系统的特征函数是复指数函数
在讨论矩阵乘法的时候，我们引入了特征向量与特征值，而现在讨论的是连续无限维空间，这里引入类似的概念：特征函数。
特征函数的定义是：在LTI系统中，如果有$Lv(t) = lambda v(t)$，则$v(x)$是该LTI系统的特征函数，$lambda$是相应的特征值。
那么为什么LTI系统的特征函数是复指数函数呢？
结论由以下推导得到:
为一个LTI系统输入复指数函数$e^{2pi i u t}$，它在频域的表现为
$egin{align*}
W(s)
&=H(s)V(s)\
&=H(s)mathcal{F}(e^{2pi i
u t})\
&=H(s)delta(s-
u)\
&=H(
u)delta(s-
u) qquad(delta shift property)
end{align*}$
它在时域的表现为，
$w(t) = Le^{2pi i u t} = H( u)e^{2pi i u t} qquad H( u) is constant$
由上述等式我们知道，在LTI系统中
- 复指数$e^{2pi i u t}$是其特征函数
- $H( u) = (mathcal{F}h)( u)$是相应的特征值
那么LTI是否有其它特征函数呢？
我们这里以$v(t) = cos(2pi u t)$作为输入看看它是否为特征函数。
$egin{align*}
Lv(t)
&=Lcos(2pi i
u t)\
&=Lfrac{1}{2}left(e^{2pi i
u t}+e^{-2pi i
u t}
ight)\
&=frac{1}{2}left(Le^{2pi i
u t}+Le^{-2pi i
u t}
ight)\
&=frac{1}{2}left(H(
u)e^{2pi i
u t}+H(-
u)e^{-2pi i
u t}
ight)\
&=frac{1}{2}left(H(
u)e^{2pi i
u t}+overline{H(
u)}e^{-2pi i
u t}
ight)qquad h(t) is real-valued ,it's symmetric in frequency,H(-
u)=overline{H(
u)}\
&=frac{1}{2}left(H(
u)e^{2pi i
u t}+overline{H(
u)e^{2pi i
u t}}
ight)\
&=frac{1}{2} imes 2Releft(H(
u)e^{2pi i
u t}
ight)qquad (a+bi)+(a-bi)=2a,Re means real part\
&=Releft(|H(
u)|e^{iphi(
u)}e^{2pi i
u t}
ight) qquad H(
u)=|H(
u)|e^{iphi(
u)}\
&=|H(
u)|Releft(e^{i(2pi
u t+phi(
u))}
ight)\
&=|H(
u)|Releft(cos(2pi
u t+phi(
u))+isin(2pi
u t+phi(
u))
ight) qquad Eular Fomular\
&=|H(
u)|Releft(cos(2pi
u t+phi(
u))
ight)
end{align*}$
结果是，在LTI中，$cos(2pi u t)$并不能被转换成$lambda cos(2pi u t)$的形式，因此不是特征函数。
实际上，只有复指数函数才是LTI的特征函数。
离散有限维空间
在离散有限维空间中，LTI系统有如下表示
$underline{w} = Lunderline{v} = underline{h}* underline{v}$
它的离散傅里叶变换为
$underline{mathcal{F}w} = (underline{mathcal{F}h})(underline{mathcal{F}v})$
转换成下面的符号表示
$underline{W} = underline{H}underline{V}$
LTI的特征向量为复指数向量
该结论由以下推导得到
为离散LTI系统输入复指数向量$underline{omega}^{k}$，即
$underline{v} = underline{omega}^{k} = left(1,e^{2pi ifrac{k}{N}},e^{2pi ifrac{2k}{N}},…,e^{2pi ifrac{(N-1)k}{N}} ight)$
他们在频域的表现为
$egin{align*}
underline{mathcal{F}}underline{w}[m]
&=underline{mathcal{F}h}[m]underline{mathcal{F}omega}^k[m]\
&=underline{mathcal{F}h}[m]Nunderline{delta}[m-k]\
&=underline{mathcal{F}h}[k]Nunderline{delta}[m-k]\
&=underline{H}[k]Nunderline{delta}[m-k]
end{align*}$
他们在时域上的表现为（对上面的结果进行IDFT）
$underline{w}[m] = underline{H}[k]underline{omega}^{k}[m]$
即
$underline{w} = Lunderline{omega}^k = underline{H}[k]underline{omega}^{k}$
由上述结果我们知道，在LTI系统中
- 特征向量为$underline{omega}^k$，即$underline{omega}$为LTI的特征向量基，$k$可以为任何整数
- 相应的特征值为$underline{H}[k]$
下面是一个求离散有限维LTI系统特征值的例子
设有LTI系统如下
$underline{w} = Lunderline{v} = underline{h}* underline{v}qquad qquad underline{h} = left(1, 2, 3, 4 ight)$
特征值为$underline{H}[k] = underline{mathcal{F}h}[k]$
首先我们需要求出$underline{H}$
$underline{H} = underline{mathcal{F}h} = displaystyle{sum_{k=0}^{3}underline{h}[k]underline{omega}^{-k}} = (10,-2+2i,-2,-2-2i)$
算得上述结果后，我们就能根据特征向量$underline{omega}^k$中的$k$值来选择相应的$underline{H}[k]$（$underline{H}$是周期循环的）。