一、求和向量
所有元素等于1 的向量称为求和向量(summuing vector)。记为$mathbf{1}=[1,1, cdots, 1]^{mathbf{T}}$ 。以$n=4$为例,求和向量$mathbf{1}=[1,1, cdots, 1]^{mathrm{T}}$ 之所以称为求和向量,乃是因为n 个标量的求和都可以表示为求和向量与另外一个向量之间的内积。
求和向量与自己的内积是一个等于该向量维数的标量,即有:
egin{equation}
mathbf{1}_{n}^{mathrm{T}} mathbf{1}_{n}=n
end{equation}
求和向量之间的外积是一个所有元素为1 的矩阵,例如:
egin{equation}
mathbf{1}_{2} mathbf{1}_{3}^{mathrm{T}}=left[ egin{array}{l}{1} \ {1}end{array}
ight][1,1,1]=left[ egin{array}{lll}{1} & {1} & {1} \ {1} & {1} & {1}end{array}
ight]=oldsymbol{J}_{2 imes 3}
end{equation}
更一般地,有:$mathbf{1}_{p} mathbf{1}_{mathbf{q}}^{mathrm{T}}=oldsymbol{J}_{oldsymbol{p} imes oldsymbol{q}}$(所有元素为1 的矩阵)
二、中心化矩阵
矩阵$oldsymbol{C}_{n}=oldsymbol{I}_{n}-overline{oldsymbol{J}}_{n}=oldsymbol{I}_{n}-frac{1}{n} oldsymbol{J}_{n}$称为中心化矩阵(centering matrix)。
容易验证,中心化矩阵既是对称矩阵,又是幕等矩阵,即有:
egin{equation}
C_{n}=C_{n}^{mathrm{T}}=C_{n}^{2}
end{equation}
此外,中心化矩阵还具有以下特性:
egin{equation}
left.egin{aligned} C_{n} 1 &=0 \ C_{n} J_{n} &=J_{n} C_{n}=0 end{aligned}
ight}
end{equation}
首先,一组数据$x_{1}, cdots, x_{n}$ 的均值可以用求和向量表示,即有:
egin{equation}
overline{x}=frac{1}{n} sum_{i=1}^{n} x_{i}=frac{1}{n}left(x_{1}+cdots+x_{n}
ight)=frac{1}{n} x^{mathrm{T}} mathbf{1}=frac{1}{n} mathbf{1}^{mathrm{T}} x
end{equation}
式中,$oldsymbol{x}=left[x_{1}, cdots, x_{n} ight]^{mathbf{T}}$为数据向量。
其次,利用中心化矩阵的定义式及其性质公式,可以得到:
egin{equation}
egin{aligned} C x &=x-overline{J} x=x-frac{1}{n} 11^{mathrm{T}} x=x-overline{x} 1 \ &=left[x_{1}-overline{x}, cdots, x_{n}-overline{x}
ight]^{mathrm{T}} end{aligned}
end{equation}
换言之,矩阵C 对数据向量x的线性变换Cx: 是原数据向量的各个元素减去n 个数据的均值的结果。这就是中心化矩阵的数学含义所在。
此外,如果求向量Cx: 的内积,则有:
egin{equation}
egin{aligned}(oldsymbol{C} oldsymbol{x})^{mathrm{T}} oldsymbol{C x} &=left[oldsymbol{x}_{1}-overline{oldsymbol{x}}, cdots, oldsymbol{x}_{oldsymbol{n}}-overline{oldsymbol{x}}
ight]left[x_{mathbf{1}}-overline{oldsymbol{x}}, cdots, oldsymbol{x}_{oldsymbol{n}}-overline{oldsymbol{x}}
ight]^{mathbf{T}} \ &=sum_{i=1}^{n}left(oldsymbol{x}_{oldsymbol{i}}-overline{oldsymbol{x}}
ight)^{2} end{aligned}
end{equation}
根据式(3)知$oldsymbol{C}^{mathrm{T}} oldsymbol{C}=oldsymbol{C} oldsymbol{C}=oldsymbol{C}$,上式又可简化为
egin{equation}
oldsymbol{x}^{mathrm{T}} oldsymbol{C x}=sum_{i=1}^{mathbf{n}}left(x_{i}-overline{oldsymbol{x}}
ight)^{2}
end{equation}
右式是我们熟悉的数据$x_{1}, cdots, x_{n}$的协方差。即是说,一组数据的协方差可以用核矩阵为中心化矩阵的二次型$oldsymbol{x}^{mathbf{T}} oldsymbol{C} oldsymbol{x}$ 表示。