[问题2014S05] 解答 (本解答由谷嵘同学提供)
首先, 由 (mathrm{tr}(AB)=mathrm{tr}(BA)) 可得 (a=0), 或者由 Cauchy-Binet 公式知 (|AB|=0), 从而可得 (a=0).
其次, 我们来证明一个一般的结论.
引理 设 (A) 为 (n imes m) 矩阵, (B) 为 (m imes n) 矩阵, 则对任意的非零常数 (lambda_0) 均有 [m-mathrm{rank}(lambda_0I_m-BA)=n-mathrm{rank}(lambda_0I_n-AB).]
引理的证明 采用与降阶公式类似的证明方法, 即分块矩阵的初等变换. 考虑如下分块矩阵: [ M=egin{bmatrix} I_n & A \ B & lambda_0I_m end{bmatrix}.]
先用 (I_n) 通过分块初等变换消去 (A,B), 可得 (M) 相抵于 [egin{bmatrix} I_n & 0 \ 0 & lambda_0I_m-BA end{bmatrix};] 再用 (lambda_0I_m) 通过分块初等变换消去 (A,B), 可得 (M) 相抵于 [egin{bmatrix} I_n-lambda_0^{-1}AB & 0 \ 0 & lambda_0I_m end{bmatrix}.] 比较两个分块对角阵的秩可得 [n+mathrm{rank}(lambda_0I_m-BA)=m+mathrm{rank}(lambda_0I_n-AB). quadBox]
回到原题, 通过简单的计算知道 (mathrm{rank}(BA-I_3)=1), 因此由上述引理可得 (mathrm{rank}(AB-I_4)=2). 我们注意到 [AB-I_4=egin{bmatrix} -15 & 0 & -15 & -32 \ 2b-9 & 0 & 3b-9 & 4b-19 \ 2 & 0 & 2 & 4 \ 6 & 0 & 6 & 13 end{bmatrix}] 的第 3, 4 行是行向量的极大无关组, 从而第 2 行是第 3, 4 行的线性组合, 故 (2b-9=3b-9), 即 (b=0).
注 (1) 本题原来的证法是想通过 (BA) 可对角化推出 (AB) 可对角化, 然后得到 (b=0), 具体的解题思路和方法请参考我和杨翎老师撰写的教学论文http://homepage.fudan.edu.cn/qhxie/files/2014/09/article05.pdf. 不过谷嵘同学提供的解法告诉我们，其实并不需要证明太多，有秩的等式就足够了.
(2) 本题其实是由第三届全国大学数学竞赛决赛第 5 题逆向命题而来, 请大家参考原题, 并仍用上述引理来证明 (BA=9I_2).
第三届全国大学数学竞赛决赛第 5 题 设 (A,B) 分别是 (3 imes 2) 和 (2 imes 3) 实矩阵, 若 [AB=left( egin{array}{ccc} 8 & 0 & -4 \ -dfrac{3}{2} & 9 & -6 \ -2 & 0 & 1 end{array} ight),] 求 (BA).