定义：任意$A=A_{m imes n}$，方程$AX=b$可产生新方程$A^HAX=A^Hb$，叫$AX=b$的正规方程。
引理：正规方程组$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$)
证明：
[{A^H}A{X_0} = {A^H}A{A^ + }{X_0} = {A^H}{(A{A^ + })^H}{X_0} = {(A{A^ + }A)^H}{X_0} = {A^H}{X_0}]
注：$A^HAX=A^Hb$有下面通解公式，$rank(A)=r$：
[X = {X_0} + ({k_1}{Y_1} + ... + {k_{n - r}}{Y_{n - r}})]
其中$X_0=A^+b$，$Y=k_1Y_1+...+k_{n-r}Y_{n-r}$
定义：任意$A=A_{m imes n}$可产生2个子空间
(1)$N(A)={X | AX=0, X in C^n} subset C^n$，称为A的核空间
(2)$N(A)={AX | X in C^n} subset C^m$，称为A的像空间又称为值域
定理：
(1)$(A^+A)^2=A^+A$
(2)$(A+A)^2=A^+A$
(3)$AA^+ ge 0$和$A^+A ge 0$
引理：若$AX=b$有解，则必有特解：$X_0=A^+b$
证明：设$X_1$为$AX=b$的任意解，$AX_1=b$，把$X_0=A^+b$代入方程：
[A{X_0} = A({A^ + }b) = A({A^ + }A{X_1}) = A{A^ + }A{X_1} = A{X_1} = b]
正交引理：
(1)任意$A=A_{m imes n} in C^{m imes n}, b in C^{m}$，$X_0=A^+b subset C^n$，则$X_0 ot N(A))$
证明：
[(X,{X_0}) = X_0^HX = {({A^ + }b)^H}X = {({A^ + }A{A^ + }b)^H}X = {({A^ + }b)^H}{({A^ + }A)^H}X = {({A^ + }b)^H}{A^ + }(AX) = 0]
(2)任意$A=A_{m imes n} in C^{m imes n}, b in C^{m}$，$X_0=A^+b subset C^n$，则$(A{X_0} - b) ot R(A)$
证明：
[(A{X_0} - b,AX) = {(AX)^H}(A{X_0} - b) = {X^H}{A^H}(A{X_0} - b) = {X^H}({A^H}A{X_0} - {A^H}b) = 0]
定义：
(1)若$AX=b$无解，则称$AX=b$为不相容方程。
(2)若$AX=b$有解，则称$AX=b$为相容方程。
定理：$min ({left| {AX - b} ight|^2}) = A{X_0} - b$，$X_0=AX_0-b$为最小值点
证明：
[{left| {AX - b} ight|^2} = {left| {AX - A{X_0} + A{X_0} - b} ight|^2} = {left| {A(X - {X_0})} ight|^2} + {left| {A{X_0} - b} ight|^2} ge {left| {A{X_0} - b} ight|^2}]
定理：若$AX=b$不相容，$X_0=A^+b$是一个最小二乘解，其他最小二乘解X适合条件$AX=AX_9 Leftrightarrow A(X-X_0)=0$，通解为：
[X - {X_0} = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} Rightarrow X = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} + {X_0}]
定理：若AX=b不相容，则$X_0=A^+b$恰是全体最小二乘解中的最小长度（2范数）解，被称为极小范数解。
[{left| X ight|^2} = {left| {{X_0} + Y} ight|^2} = {left| {{X_0}} ight|^2} + {left| Y ight|^2} ge {left| {{X_0}} ight|^2}]
定理：若$A=A_{m imes n}$与$X=X_{m imes n}$适合条件：$(1)AXA=A$，称X为A的一个减号逆或1号逆，记为$X=A^-$或$X=A^{(1)}$
定理：减号逆矩不唯一
求解$A^-$
(1)
[A = {left[ {egin{array}{*{20}{c}}
{{I_r}}&0\
0&0
end{array}}
ight]_{m imes n}} Rightarrow {A^ - } = {left[ {egin{array}{*{20}{c}}
{{I_r}}&C\
D&F
end{array}}
ight]_{n imes m}}]
$C,D,F$的取值任意
(2)若$A=A_{m imes n}$：
[PAQ = B = {left[ {egin{array}{*{20}{c}}
{{I_r}}&0\
0&0
end{array}}
ight]_{m imes n}} Rightarrow {A^ - } = Q{left[ {egin{array}{*{20}{c}}
{{I_r}}&C\
D&F
end{array}}
ight]_{n imes m}}P]
扩展：矩阵方程$AXB=D$：
(1)若$AXB=D$相容，则必有特解$X_0=A^+DB^+$和$Y_0=A^-DB^-$，使得$AX_0B=D, AY_0B=D$
(2)若$AXB=D$相容，则$X_0=A^+DB^+$是最小范数解
(3)若$AXB=D$不相容，则$X_0=A^+DB^+$是最小二乘解