解 Ax = 0

已知: 已知 (A in R^{m imes n}, m ge n)
问题: (Ax = 0) 的解
求解: 解为A的右奇异矩阵V的最后一列, 即 (A^TA) 最小特征值对应的特征向量

基础知识

实对称矩阵

实对称矩阵: (A = A^T, A in R^{n imes n})
性质:

1. 实对称矩阵A的不同特征值对应的特征向量是正交的。
2. 实对称矩阵A的特征值都是实数，特征向量都是实向量。
3. n阶实对称矩阵A必可相似对角化，且相似对角阵上的元素即为矩阵本身特征值。

由以上可知, (A^TA) 为实对称矩阵

正交矩阵

(square) 正交矩阵Q是一个方阵，其元素为实数，而且行与列皆为正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵：

[{displaystyle Q^{T}=Q^{-1}Leftrightarrow Q^{T}Q=QQ^{T}=I.\,!} ]

奇异值分解

SVD分解介绍

A = (U Sigma V^T, Sigma 为对角矩阵, U,V 分别为正交矩阵)

式中 (Sigma = egin{bmatrix} Sigma_1 & O \ O & O end{bmatrix}), 且 (Sigma_1=diag(sigma1,sigma2, ..., sigma_r)), 其对角线按照顺序

[sigma1ge sigma2 gesigma_r>0, quad r = f Rank(A)]

排列.

数值 (sigma1,sigma2, ..., sigma_r) 连同 (sigma_{r+1} =sigma_{r+1}=cdots=sigma_n=0) 一起称为矩阵A的奇异值

[A[v_1,cdots,v_r,cdots,v_n] = [u_1, cdots,u_r,cdots,u_m]egin{bmatrix}sigma_1\&ddots\&&sigma_r\&&&0 \ &&&&ddots \&&&&&0end{bmatrix} \ AV = U Sigma Rightarrow A = USigma V^{-1} = USigma V^T \ A^TA = ( USigma V^T)^T USigma V^T = VSigma ^2V^T \ AA^T = USigma V^T( USigma V^T)^T = USigma ^2U^T \ ]

解答

V 为正交矩阵, (AV = U Sigma), 列向量形式为

[Av_i=egin{cases} sigma_iu_i, quad &i=1,2,3,cdots,r \ 0, quad quad &i=r+1,r+2,cdots,n end{cases} ]

从上奇异值分解列向量形式可以看出, 取最小特征值对应的特征向量即为Ax=0的近似解

(Ax = 0 cong A^TAx = A^T0 = 0)

solution 2

(T = |Ax|_2, 约束|x|_2 = 1)

[T= |Ax|_2 = (Ax)^T(Ax = x^TA^TAx =x^T(A^TAx)= x^T(sigma_i^2 x)) = sigma_i^2 x^Tx =sigma_i^2|x|_2 = sigma_i^2 ]

其中 (sigma_i) 为 (A) 的奇异值, (x) 为A的右奇异矩阵最小的奇异值对应的特征向量.