今天我想理解下正定矩阵！
因为这个矩阵在convex optimization 老是出现~
我们只考虑正定矩阵的原始定义，不考虑某些人对他的扩展。
In linear algebra, a symmetric n × n real matrix M is said to be positive definite if z^TMz is positive for any non-zero column vector z of n real numbers. Here z^T denotes the transpose of z.
因此，正定矩阵是 对称的、方阵，这里说的是实矩阵，可以扩展到复数矩阵，只是把转置换成共轭转置，并且要求那个二次型结果是实数就可以了。
讨论A^TA这种矩阵~
首先这个矩阵是对称矩阵，不管A是什么矩阵，甚至退化成向量，这个矩阵都是对称矩阵，不存在任何例外。
他一定是半正定矩阵：
任意给定一个非零向量z，那么z^TA^TAz = (Az)^T(Az)，显然这个结果是非负的！
那什么情况下这种矩阵是正定矩阵呢？什么情况下他是半正定矩阵，并且不是正定矩阵呢？
我们讨论下什么情况下这个二次型等于零。我们从A本身讨论，
如果(Az)^T(Az)=0 <=> Az是零向量
Az = z1A1 + z2A2 + ... + znAn. 这里假设A有n列，n可以取任何正整数，Ai表示矩阵A的第i列，zi表示z的第i个分量。我们可以把这个式子看成是A的列向量的线性组合，因为z非零，所以，当且仅当A的列向量线性相关的时候Az才有可能为零，如果他们线性无关，那么一定存在一个非零的z，使得Az=0。也就是说A^TA是否为正定矩阵，与A的秩是否等于列数是等价的。
如果A的列向量线性无关，那么A^TA为正定矩阵。
如果A的列向量线性相关，那么A^TA为半正定矩阵。