1 极值点
对于一元函数 f(x)，其极值点有如下结论：
1）当一阶导数为零时，该点为极值点；
2）当二阶导数大于零时，该点为极小值；当二阶导数小于零时，该点为极大值；
3）当二阶导数等于零时，无法判断；
对于一般二元函数 ，其一阶偏导满足关系 
为极值点，
使用泰勒公式的二阶近似 
，
由于一阶偏导为零，进一步简化为 
，
则函数 
在临界点 
的极值特性取决于关系式 
，
通过配方上式改写为两完全平方项之和 
，
1）当 
时，两平方项均为非负值，z 最终值取决于 
。
当 
时，临界点 为极小值点；当 
时，临界点 为极大值点；当 
时，无法判断；
2）当 
时，将该公式乘以 
，第一项小于零，第二项大于零，则临界点 为鞍点（saddle point）；
通过以上讨论，对于二元函数 
，当其值始终大于零（非零点）时，该函数被称为正定的（positive definite）；
推广到多元函数，也有类似结论；
2 正定矩阵
将二元二次函数改写为矩阵 
, 当满足 
时，矩阵 A 被称为正定矩阵；
类似的，n元二次函数 
,
其矩阵形式为 
，当满足 时，矩阵 A 被称为正定矩阵；
观察矩阵 A 可知，该矩阵为对称矩阵，故其特征值为实数，特征向量为正交向量；
3 正定矩阵的判定依据
当矩阵 A 为实对称矩阵时，以下条件都是矩阵 A 为正定矩阵的充分必要条件(necessary and sufficient condition)：
1），这是正定矩阵的基本定义；
2）矩阵 A 的所有特征值均大于零；
由于 
，
，所以 
，矩阵 A 的所有特征值都大于零；
反过来，当所有特征值均大于零时，有如下推导：
对称矩阵有相互正交的特征向量（单位长度） 
，任意向量 x 可被分解为 
，
，
，整理得：
，由于特征值均大于零，则 ；
3）矩阵 A 的所有子矩阵的行列式值均大于零；
由于正定矩阵 A 满足条件 2），所以其行列式值大于零；
由于正定矩阵 A 满足条件 1），令
，
有 
，所有子矩阵均为正定矩阵；
由于所有子矩阵均为正定矩阵，故满足条件2），所有子矩阵行列式值大于零；
4）矩阵 A 的所有主元(pivots)均大于零；
4 半正定矩阵
在最小二乘法应用中， 
产生的矩阵一般是正定矩阵（至少是半正定矩阵），证明如下：
，
当 R 每列向量相互独立时，仅有零向量位于 R 的零空间，当 x 不为零时Rx 不为零， 为正定矩阵；
当 R 存在不独立的列向量，存在非零向量 x 位于 R 的零空间，故存在 x 不为零时Rx 为零情形， 为半正定矩阵；
以下给出半正定矩阵的充分必要条件：
1）
；
2）所有特征值均大于或等于零；
3）所有子矩阵的行列式值均大于或等于零；
4）所有主元都大于或等于零；
5 n维空间椭球面
由于正定矩阵 A 的特征向量正交，有如下分解：
，
，
由于 
为相互正交的单位特征向量，所以 
表示任意向量 x 在特征向量上的投影长度，上式可改写为：
，
令 
，表示满足该条件的向量集合，在二维平面上为椭圆，三维空间中为椭球；
假设向量 x 位于 
方向上，则向量 x 仅在 
方向上投影不为零，则椭球在 
方向上的长度为 
；
同理，在其他各个特征向量方向上长度为 
；
参考资料 Linear Algebra And Its Applications Gilbert Strang