可怕的概念都是纸老虎。
高斯消元、LU分解无非都是高中学过的解方程的消元法。
高中的消元法
现在有一个方程组需要你解,你会怎么解?答:高中教过可以用消元法来解未知数。
那么我们看看消元法怎么做的。
1. 第二个式子-2×第一个式子得到下面这个方程组:
2. 第二个式子两边÷12.
3. 回代
确实任何线性方程都可以这么解,事实上计算机解方程也是这么做的。由于每次都要重复写太麻烦了,反正他们也不起作用。于是数学家们就把方程组中的数字放在一起,符号也放在一起。这样使得消元的时候就不用总是重复写这两个符号,大大简化的书写的复杂度。这种把数字和符号放在一起的写法叫做矩阵。计算机里面解方程都是输入矩阵,输出向量的。
我们把最原始的那个方程组里面所有数字弄出来,得到下面这个式子:
我们定义,我们的目标是得到,写成矩阵形式就是
通过我们高中的学的消元法可以将矩阵A变成。这个对角线都是1,其他元素都是0的这个矩阵,数学家把它叫做单位矩阵。消元法的矩阵形式叫做高斯消元法。它的作用就是求解线性方程。现在用计算机解方程都是用消元法来解方程的。
矩阵高斯消元法
1. 把系数矩阵变成对角线左下都是0的形式
2. 消除右上角的值,使得左边的矩阵变成单位矩阵。
但是,这是我们人去消元,我们知道这么做。但是怎么让计算机知道怎么消元呢?我们能不能通过矩阵相乘的方式进行消元操作?这就是高斯消元法的初衷。理解这个非常重要,我们通过一系列矩阵乘法操作把矩阵A变成了单位矩阵,那么前面的那些矩阵不就是A的逆矩阵么?线性代数的各种矩阵分解基本是利用这个思路来进行矩阵分解。
我们看看高斯消元法的第一步怎么用矩阵表示:
我们是把第一行×-2加到第二行,来实现消除第二行的第一个数字。那么怎么用矩阵来表示“把第一行×2加到第二行”这个操作呢?先看看结果,待会再解释为何要左乘这个矩阵。
左乘是可以对行操作的。而消元法它只对行操作不对列操作。所以得左乘。
由于矩阵A的第一行没有变,所以A左乘的那个矩阵的第一行是[1,0]。然后我们对第一行乘-2然后加到第二行,所以左乘的那个矩阵第二行为[-2,1](哪一行变了就着重关注哪一行,其他没变的行肯定是[0..1.0..]之类)。其他的几步消元操作基本是左乘类似的矩阵。这种一次只操作一行的矩阵,叫做初等变换矩阵。这种矩阵一般记作E。可以实现把第1行加到第2行的这种矩阵可以表示为。
LU分解与高斯消元法的联系
LU分解它要做的事情是把一个矩阵A分解成一个下三角矩阵和一个上三角矩阵相乘的形式,即A=L*U。(L是Lower Tiangular Matrix的意思,U是Upper Triangular Matrix的意思)。
所以我们要求下三角矩阵L,和上三角矩阵U。
什么是下三角矩阵?下面这个矩阵就是下三角矩阵,对角线和左下是非零,其他地方是0.
这个矩阵是不是很熟悉?这个矩阵就是前面提到的矩阵。所以LU分解中的下三角矩阵L就是把矩阵变成上三角矩阵形式的一系列初等变换矩阵的乘积的结果逆矩阵,在本文中L就是E_{12}。为啥是逆矩阵?因为 ,而我们期待的是 。所以 。
上三角矩阵U就是。
即A=L*U=
娱乐小知识:
1. 估算可以用积分的形式。前面那个式子≈
2. 为何矩阵AB的逆,要把AB位置倒过来?书里面直接告诉你这个乘法求逆规则无异于告诉你先有儿子,再有老子。
这一切都要从定义出发。什么是AB的逆矩阵?答:把AB变成单位矩阵的那种就是逆矩阵。那怎么把AB怎么变成单位矩阵?
其他阅读:线性代数的应用和理解