最近有些考研的小伙伴问到我这个问题，正好也给自己梳理一下思路，毕竟在机器学习里面这4个概念也是非常重要的，不过这里由于知识所限，就只整理跟考研部分比较相关的知识点了。
既然是4种点，首先就需要将其进行大致的分类，大致来说如下。
$$ egin {cases} 一元函数 quad egin {cases} 一阶导数f'(x) quad 驻点、极值点、鞍点 \[3ex] 二阶导数f''(x) quad 拐点 end {cases} \[3ex] 多元函数 quad 极值点、鞍点 end {cases} $$
一元函数
在一元函数有3种点——驻点、极值点和拐点。要想完全理解这三个定义的话就需要从函数的性质入手，对于函数来说，与极值点相关的就是函数的极大值、极小值、最大值和最小值。因此首先可以来看极大值、极小值的定义。
(Def1 极值) 设函数$f(x)$在点$x_0$的某个邻域$U(x_0)$内有定义，如果对于去心邻域$mathring{U}(x_0)$内的任意一个$x$，有$$f(x)<f(x_0) quad (或f(x)>f(x_0))$$那么就称$f(x_0)$是函数$f(x)$的一个极大值(极小值)。
从上述定义就可以看到，极大值和极小值其实和导数是没有任何关系的，所以如果真的要判断极大值和极小值的话，最为本质的方法应该是比较在待观察点邻域内函数值的变化情况，那么，导数在这里起到了什么作用呢？这是由极值的一个必要条件得到的。
(Thm2 极值的必要条件) 设函数$f(x)$在$x_0$处可导，且在$x=x_0$处取得极值，那么有$f'(x_0)=0$。
注意一下这个是必要条件，也就是说从可导的极值点才有导数值为0，这句话并不能用于通过导数去判断极值，也就是充分条件。但是至少给了我们一个思考的方向，那就是当思考从导数去判断极值的时候，我们应该要去寻找哪些点。
仔细观察Thm2中的描述，现在我们思考它的逆否命题，那便是，设函数$f(x)$在$x_0$处可导，如果有$f'(x_0)≠0$，那么在$x=x_0$处，$f(x)$不能取得极值。于是，我们其中一个思考的方向便是$f'(x)=0$的点，此外，如果一开始的假设就不成立的话，那么也有可能使得结论是成立的，这就是$f'(x)$不存在的点。
(Def3 驻点) 设$f(x)$可导，则使得$f'(x)=0$的点称为$f(x)$的驻点。
下面给出2个例子，说明驻点和不可导的点都可以是极值点。
(1) 考虑函数$f(x)=x^2$，有$f'(x)=2x$，那么在$x=0$处的导数值$f'(0)=0$，根据图像容易得到$f(0)=0$是$f(x)$的极小值点。
(2) 考虑函数$f(x)=|x|$，那么在$x=0$处连续，且左导数$f'_{-}(0)=-1$，右导数$f'_{+}(0)=1$，因此$f(x)$在$x=0$处不可导，但是根据图像也容易得到$f(0)=0$是$f(x)$的极小值点。
因此，我们在利用导数去考虑一个函数的极值的时候，需要判断2种点，第一种就是驻点，第二种就是导数不存在的点。然后接下来应该如何利用导数呢，我们就需要如下的定理，它给出了利用导数的符号去判断驻点是否为极值点的充分条件。
(Thm4 极值第一充分条件) 设函数$f(x)$在$x_0$处连续，且在$x_0$附近的空心邻域$mathring{U}(x_0,delta)$内可导。则有
(1) 若$x in (x_0-delta,x_0)$时，$f'(x)>0$，而$x in (x_0,x_0+delta)$时，$f'(x)<0$，则$f(x)$在$x=x_0$处取得极大值。
(2) 若$x in (x_0-delta,x_0)$时，$f'(x)<0$，而$x in (x_0,x_0+delta)$时，$f'(x)>0$，则$f(x)$在$x=x_0$处取得极小值。
(3) 若$x in mathring{U}(x_0,delta)$时，$f'(x)$的符号保持不变，那么$f(x)$在$x_0$处没有极值，把这样子的点称为鞍点。
有了Thm4，我们求出来的驻点就有所发挥了，只要考虑在驻点周围的导函数的符号即可，这句话其实也是瞄着极值的定义来写的，我们可以将$f'(x)>0$简单的翻译成$f(x)$单调递增，将$f'(x)<0$简单的翻译成$f(x)$单调递减，这样子就从Thm4转化为Def1。
下面给出一个例子。
例： 求函数$f(x)=x+frac{1}{x}$的极值和极值点。
解：
由$f(x)=x+frac{1}{x}$可得定义域为$(-∞,0) cup (0,+∞)$，接下来求导数可得$$f'(x)=1-frac{1}{x^2}$$
令$f'(x)>0$可得$x<-1$或者$x>1$，令$f'(x)<0$可得$-1<x<0$和$0<x<1$，导数不存在的点为$x=0$。
因此可以知道$f(x)$在$(-∞,-1)$上递增，在$(-1,0)$上递减，在$(0,1)$上递减，$(1,+∞)$上递增，从而在$x=-1$上取得极大值$f(-1)=-2$，在$x=1$上取得极小值$f(1)=2$，$x=0$没有定义。
除了这种方法以外，还有一种方法就是利用二阶导数$f''(x)$，注意我们这里可以先把$f''(x)$与函数的凹凸性的恩怨情仇分开，关于函数的凹凸性我们一会儿可以在后面接着写，这里我们只讨论$f''(x)$和极值的关系，有这么一个极值第二充分条件。
(Thm5 极值第二充分条件) 设函数$f(x)$在$x_0$处具有二阶导数且$f'(x_0)=0$，$f''(x_0)≠0$，那么有
(1) 当$f''(x_0)<0$时，函数$f(x)$在$x_0$处取得极大值。
(2) 当$f''(x_0)>0$时，函数$f(x)$在$x_0$处取得极小值。
注意用极值第二充分条件时一定要有的条件$f'(x_0)=0$，很多考研的学生都只知道可以通过求二阶导数来判断极值，但是求完以后就总是忘记了检查一阶导数在$x_0$处是不是为0，从而导致错误。
其实本质上来说，极值第二充分条件是极值第一充分条件的一个特殊的情况，如果我们用定义去考虑这两个二阶导数，就会发现$$f''(x_0)=lim limits_{x o x_0} frac{f'(x)-f'(x_0)}{x-x_0}$$容易观察到，如果满足$f''(x_0)>0$，说明分子分母同号，刚好就对应着第一充分条件中的极小值情况，而$f''(x_0)<0$时，说明分子分母异号，刚好就对应着第一充分条件中的极大值的情况。
下面依旧给出一个例子。
例： 求函数$f(x)=x+frac{1}{x}$的极值和极值点。
解：
由$f(x)=x+frac{1}{x}$可得定义域为$(-∞,0) cup (0,+∞)$，接下来求导数可得$$f'(x)=1-frac{1}{x^2}，f''(x)=frac{2}{x^3}$$
令$f'(x)=0$可得$x=±1$，再代入二阶导数可得$f''(-1)=-2,f''(1)=2$，因此有$x=-1$是极大值点，$x=1$是极小值点，而$x=0$为无定义点，讨论起来无意义。
总的来说，上面两个条件都是针对驻点的情况的，而对于导数不存在的情况，则需要我们利用极值的定义去判断。这里首先需要澄清一个观念，那就是导函数的无定义点对于原来的函数来说不一定是无定义点。前面提到的$f(x)=|x|$在$x=0$处就是典型的导函数为跳跃间断点的情况，另外一个例子是$f(x) = sqrt(x)$，它的导函数在$x=0$处就是无穷间断点。但这两个函数显然在$x=0$处是右连续的。
因此，对于判断导数不存在的情况时，我们需要考察的是导函数$f'(x)$在间断点$x=x_0$的左右两侧的符号情况，再根据符号来判断函数$f(x)$在$x=x_0$的增减性情况，理论说起来比较枯燥，还是直接看一个例子好了。
例：求函数$f(x)=|x|$的极值。
解：首先可以写成分段函数的形式$$f(x)= egin{cases} x quad x≥0 \ -x quad x<0 end{cases}$$因此接下来我们根据定义求在$x=0$处的导数情况，我们有$$lim limits_{x o 0^-} frac{f(x)-f(0)}{x-0} = lim limits_{x o 0^-} frac{-x}{x} = -1，lim limits_{x o 0^+} frac{f(x)-f(0)}{x-0} = lim limits_{x o 0^+} frac{x}{x} = 1 $$因此在$x=0$左右两侧的导数不相等，在$x=0$这一点不可导，但从$f(x)=|x|$的角度来说，显然$x=0$是连续点，且为极小值点，极小值为0。
多元函数
多元函数的情况其实和刚才的极值第二充分条件非常的类似，只不过这个时候，需要判断的函数的极大值极小值变成了多元函数，为了讲清楚多元函数判断极大值极小值的原理，我们需要对一元函数中的极值第二充分条件要有更深一步的认识，就是下面描述的内容。
(Thm5a 极值第二充分条件的泰勒公式理解) 设$f(x)$在$x=x_0$处二阶可导，且满足$f'(x_0)=0,f''(x_0)≠0$，则利用泰勒公式在$U(x_0,delta)$处展开可得。$$egin{align} f(x) &= f(x_0)+f'(x_0)(x-x_0)+f''(xi)(x-x_0)^2(xi in U(x_0,delta)) \ &= f(x_0) + f''(xi)(x-x_0)^2 end{align}$$因此很容易得到$f(x)$和$f(x_0)$的关系就取决于$f''(xi)$的符号，这就是我们极值第二充分条件所表达的形式。
有了一元函数的基础以后，我们就可以根据多元函数的泰勒公式，类似的进行判断，由于考研中只涉及二元函数的极值，且对于多元泰勒公式基本不涉及，这里就只讨论二元函数了，在此之前还需要先引入一个基本概念。
(Def 6 Hessian矩阵) 它是一个由多元函数的二元偏导数偏导数构成的方阵，描述了函数的局部曲率，形式上如下$$egin{bmatrix} {frac{partial ^2 f}{partial x_1^2}} & {frac{partial ^2 f}{partial x_1 x_2}} & {cdots} &{frac{partial ^2 f}{partial x_1 x_n}} \ {frac{partial ^2 f}{partial x_2 x_1}} & {frac{partial ^2 f}{partial x_2^2}} & {cdots} & {frac{partial ^2 f}{partial x_2 x_n}} \ {vdots} & {vdots} & {ddots} & {vdots} \ {frac{partial ^2 f}{partial x_n x_1}} & {frac{partial ^2 f}{partial x_n x_2}} & {cdots} & {frac{partial ^2 f}{partial x_n^2}} \ end{bmatrix}$$
如果是对于二元函数，那么就是如下的形式$$egin{bmatrix} {{partial ^2 f} over {partial x_1^2}} & {{partial ^2 f} over {partial x_1 x_2}} \ {{partial ^2 f} over {partial x_2 x_1}} & {{partial ^2 f} over {partial x_2^2}} end{bmatrix}$$接下来如果令$A={{partial ^2 f} over {partial x_1^2}}$，$C={{partial ^2 f} over {partial x_2^2}}$，以及$B={{partial ^2 f} over {partial x_1 x_2}}={{partial ^2 f} over {partial x_2 x_1}}$。是不是就感觉有点熟悉了？当然了，这里最后的两个混合偏导数能相等的充要条件是二阶混合偏导数连续。有了这个以后，我们就可以根据泰勒公式去理解多元函数的极值的，类似的，我们也先引入多元函数极值的一些定义，这里一些相关概念就不再展开，可以直接翻考研辅导课本。
(Def7 多元函数极值) 设函数$z=f(x,y)$的定义域为$D$，$P_0(x_0,y_0)$为$D$的内点，若存在$P_0$的某个邻域$U(x_0) subset D$，使得对于该邻域内异于$P_0$的任何点$(x,y)$，都有$$f(x,y)<f(x_0,y_0)$$则称函数$f(x,y)$在点$(x_0,y_0)$有极大值$f(x_0,y_0)$，点$(x_0,y_0)$称为函数的极大值点，若对于该邻域内异于$P_0$的任何点$(x,y)$，都有$$f(x,y)>f(x_0,y_0)$$则称函数$f(x,y)$在点$(x_0,y_0)$有极小值$f(x_0,y_0)$，点$(x_0,y_0)$称为函数的极小值点。极大值与极小值统称为极值，使得函数取得极值的点称为极值点。
和一元函数类似，这里也完全不涉及到一阶偏导数的任何概念，然后也是从一个必要条件开始的。
(Thm8 多元函数极值的必要条件) 设函数$z=f(x,y)$在点$(x_0,y_0)$具有偏导数，且在$(x_0,y_0)$处有极值，则有$$f_x(x_0,y_0)=f_y(x_0,y_0)=0$$
然后就把$f_x(x_0,y_0)=f_y(x_0,y_0)=0$的点也同样的称为驻点，和一元函数不一样的是，一元函数只需要考察定义域左右两侧的导函数的符号变化就可以了，从二元函数开始，要考虑的是定义域内全部的方向的函数变化，由于平面上有无穷多个方向可以逼近导函数，因此不可以再应用"极值第一充分条件"，那么就只剩下“极值第二充分条件”了，下面先来看看这个条件。
(Thm9 多元函数极值的充分条件) 设函数$z=f(x,y)$在点$(x_0,y_0)$的某邻域内具有一阶和二阶连续偏导数，又有$f_x(x_0,y_0)=f_y(x_0,y_0)=0$，令$$A=f_xx(x_0,y_0),B=f_xy(x_0,y_0),C=f_yy(x_0,y_0)$$则$f(x,y)$在$(x_0,y_0)$处是否取得极值的条件如下：
(1) $AC-B^2>0$时具有极值，且当$A<0$时具有极大值，当$A>0$时具有极小值。
(2) $AC-B^2<0$时没有极值。
(3) $AC-B^2=0$时是否有极值还需要讨论。
这个定理就直接给出了无条件极值下判断多元函数的极大值和极小值的方法了，下面我们可以利用二元泰勒对它进行理解，首先来看看二元函数的泰勒公式的形式。
(Thm10 二元函数的泰勒展开式) 二元函数在点$(x_k,y_k)$处的泰勒展开式为：$$f(x,y)=f(x_k,y_k)+(x-x_k)f'_x(x_k,y_k)+(y-y_k)f'_y(x_k,y_k)+frac{1}{2!}(x-x_k)^2f''_xx(x_k,y_k)+frac{1}{2!}(x-x_k)(y-y_k)f''_xy(x_k,y_k)+frac{1}{2!}(x-x_k)(y-y_k)f''_yx(x_k,y_k)+frac{1}{2!}(y-y_k)^2f''_yy(x_k,y_k)+o^n$$
如果写成矩阵的形式，那么就是$$f(x,y)=f(x_k,y_k)+(x-x_k)f'_x(x_k,y_k)+(y-y_k)f'_y(x_k,y_k) + egin{bmatrix} x-x_k , y-y_k end{bmatrix} egin{bmatrix} {partial ^2 f} over {partial x^2} & {partial ^2 f} over {partial x partial y} \ {partial ^2 f} over {partial y partial x} & {partial ^2 f} over {partial y^2} end{bmatrix} egin{bmatrix} x-x_k \ y-y_k end{bmatrix}$$
有了矩阵展开式以后，我们就能很容易理解Thm9所表示的内容。这里首先要注意的是，我们判断极值的正确与否利用的是多元函数极值的定义，如果有$f_x(x_0,y_0)=f_y(x_0,y_0)=0$时，那么整个矩阵展开式就可以转变为$$f(x,y)=f(x_k,y_k)+ egin{bmatrix} x-x_k , y-y_k end{bmatrix} egin{bmatrix} {partial ^2 f} over {partial x^2} & {partial ^2 f} over {partial x partial y} \ {partial ^2 f} over {partial y partial x} & {partial ^2 f} over {partial y^2} end{bmatrix} egin{bmatrix} x-x_k \ y-y_k end{bmatrix}$$这其中，后面矩阵的形式是一个二次型，关键就在于二次型矩阵的情况，利用线性代数的知识，容易得到。
(1) $AC-B^2>0$时具有极值，且当$A<0$时具有极大值，当$A>0$时具有极小值，这对应着二次型矩阵的负定和正定的情况。
(2) $AC-B^2<0$时没有极值，这对应着非正定的情况。
(3) $AC-B^2=0$时是否有极值还需要讨论，这也是对应着非正定的情况。
如果二次型对应的矩阵是正定的，那么泰勒展开式中第二项矩阵项就全部大于0，于是就有$f(x,y)>f(x_k,y_k)$，就得到极小值；如果二次型对应的矩阵是负定的，那么泰勒展开式中第二项矩阵就全部小于0，于是就有$f(x,y)<f(x_k,y_k)$，就得到极大值；
依旧是一个例子。
例：求函数$f(x,y)=x^3-y^3+3x^2+3y^2-9x$的极值
解：先求一阶偏导数，得到如下结果$$egin{cases} f_x(x,y)=3x^2+6x-9=0 \ f_y(x,y)=-3y^2+6y=0 end{cases}$$因此驻点为$(1,0)、(1,2)、(-3,0)、(-3,2)$，再求出二阶偏导数得到。$$f_{xx}(x,y)=6x+6，f_{xy}(x,y)=f_{yx}(x,y)=0，f_{yy}(x,y)=-6y+6$$依次求解得
在点$(1,0)$处，$AC-B^2=12*6>0$，又有$A>0$，所以函数在$(1,0)$处有极小值$f(1,0)=-5$。
在点$(1,2)$处，$AC-B^2=12*(-6)<0$，因此$f(1,2)$不是极值。
在点$(-3,0)$处，$AC-B^2=-12*6<0$，因此$f(-3,0)$不是极值。
在点$(-3,2)$处，$AC-B^2=-12*(-6)>0$，又有$A<0$，因此函数在$(-3,2)$处有极大值$f(-3,2)=31$。
另外一个例子。
例：求函数$z=sqrt{x^2+y^2}$的极值
解：先求一阶偏导数，得到$$z_x=frac{x}{sqrt{x^2+y^2}},z_y=frac{y}{sqrt{x^2+y^2}}$$
注意这两个函数是典型的二元极限不存在的函数，否则令$y=kx$，代入$z_x$得$$egin{aligned} I &= lim limits_{x o 0} frac{x}{sqrt{x^2+k^2x^2}} \ &= lim limits_{x o 0} sqrt{frac{x^2}{x^2+k^2x^2}} \ &= sqrt{frac{1}{1+k^2}} end{aligned}$$
显然这个式子的值与k相关，故二元极限不存在，但是从函数的图像容易得到，$(0,0)$显然是函数的极小值点。$z=0$是函数的极小值。
拐点与凹凸性
在把极值点讲完以后，还剩下一类点是拐点。这类点与函数的二阶导数非常相关的，既然谈到二阶导数，那么就免不了要谈函数的凹凸性，于是首先就要统一一下凹凸性的语言，凹凸性首先要分为2类，一类是函数的凹凸性，另外一类是图形的凹凸性，出于直观考虑，我这里先描述图形的凹凸性。
(Def11 图形的凹凸性) 根据下面的图形，设函数$f$在区间$I$上连续.
(1) 如果对于$I$上的任意两点$a,b$，恒有$$f(frac{a+b}{2}) > frac{f(a)+f(b)}{2}$$那么称$f(x)$在$I$上的图形是上凸的，如左侧图。
(2) 如果对于$I$上的任意两点$a,b$，恒有$$f(frac{a+b}{2}) < frac{f(a)+f(b)}{2}$$那么称$f(x)$在$I$上的图形是下凸的，如右侧图。
PS：同济课本上对于图形的“凸”的定义通常认为是上凸的，对于图形的“凹”的定义通常认为是下凸的。
作为对比，我们直接来看关于函数的凹凸性。
(Def12 函数的凹凸性) 根据上面的图形，如果函数$f(x)$在区间$I$上连续
(1) 如果对于$I$上的任意两点$a,b$，恒有不等式$f(frac{x_1+x_2}{2})>frac{f(x_1)+f(x_2)}{2}$，那么称$f(x)$为凸函数。
(2) 如果对于$I$上的任意两点$a,b$，恒有不等式$f(frac{x_1+x_2}{2})<frac{f(x_1)+f(x_2)}{2}$，那么称$f(x)$为凹函数。
PS：同济课本上对这一块没有描述，只定义了图形的凹凸性。
这样子一对比，很容易就能够看到如下的结果。
| 表达式 | 图形的凹凸性 | 函数的凹凸性 |
| $f(frac{a+b}{2})>frac{f(a)+f(b)}{2}$ | 上凸(凸) | 凹函数 |
| $f(frac{a+b}{2})<frac{f(a)+f(b)}{2}$ | 下凸(凹) | 凸函数 |
因此，在凹凸性这块，函数的凹凸性和图形的凹凸性是刚好相反的。我个人的记忆方法是只记下凸图形对应凸函数，下凸函数的形式就和抛物线是类似的。接下来就是凹凸性和二阶导数的关系了，这部分有如下定理。
(Thm13 图形的凹凸性判断与二阶导数的关系) 设$f(x)$在$[a,b]$上连续，在$(a.b)$内具有一阶和二阶导数，那么有
(1) 若在$(a,b)$内有$f''(x)>0$，则$f(x)$在$[a,b]$上的图形是凹的，即$f(x)$是凸函数。
(2) 若在$(a,b)$内有$f''(x)<0$，则$f(x)$在$[a,b]$上的图形是凸的，即$f(x)$是凹函数。
观察这个定理可以知道，它和前面的函数的极值与导数的关系(极值第一充分条件)非常的类似，事实上也确实如此的，如果将一阶导数视为函数，那么二阶导数就是一阶导数的导数，于是它就可以用于判断一阶导数的极值点，为了区分函数的极值点和一阶导数的极值点，我们定义了驻点。
(Def14 拐点) 设$f(x)$二阶可导，则称使得$f''(x)=0$的$x$为拐点。
因此根据Thm13以及Def14，我们可以整理出一套流程。
| 求函数的极值 | 求函数的凹凸性 |
|
(1) 求出一阶导数f'(x) (2) 求出f'(x)定义域不存在的点，得到不可导点。 (3) 求解方程f'(x)=0，得到驻点。 (4) 判断不可导点以及驻点左右两侧的f'(x)符号变化情况。 |
(1) 求出二阶导数f''(x) (2) 求出f''(x)定义域不存在的点，得到f'(x)的不可导点。 (3) 求解方程f''(x)=0，得到拐点 (4) 判断f'(x)的不可导点以及拐点的符号，得到凹凸性。 |
嗯，接下来来看一道例题了。
例：判断$f(x)=x^(1/3)$的凹凸性。
解：先求出$f(x)$的二阶导数，有$$f'(x)=frac{1}{3x^{frac{2}{3}}}，f''(x)=-frac{2}{9x^3 sqrt{x^2}}$$
因此容易得到当$x<0$时，$f''(x)>0$，图像为凹的，所以函数为凸函数，当$x>0$时，$f''(x)<0$，图像为凸的，所以函数为凹函数。在$x=0$处发生了凹凸性的转变，但在$x=0$处二阶导数不存在，它不是拐点。
拐点与极值的关系
这个今年考研问我的人当中问的最多的一种类型的题目，这里面取了一道作为例子，如下：
例：设$f''(x)$连续，且$f'(0)=0$，$lim limits_{x o 0} frac{f''(x)}{|x|} = 1$，则有( )
A. $f(0)$是$f(x)$的极大值
B. $f(0)$是$f(x)$的极小值
C. $(0,f(0))$是$y=f(x)$的拐点
D. $f(0)$非极值，$(0,f(0))$也非$y=f(x)$的拐点
解：由题中的极限容易得到两个关系，那就是$$lim limits_{x o 0^+} frac{f''(x)}{x}=1，lim limits_{x o 0^-} frac{f''(x)}{-x} = 1$$
再由$f''(x)$连续，得$f''(0)=0$，由保号性可以得知可以得知当$x>0$时有$f''(x)>0$，当$x<0$时有$f''(x)>0$，所以这里没有发生凹凸性的转变，$x=0$不是拐点。
但由$f''(x)>0$可以推得$f'(x)$在$U(0,delta)$内单调递增，且满足$f'(0)=0$，所以在$U(0,delta)$内$f'(x)$发生的符号的改变，具体的说，当$x>0$时有$f'(x)>0$，当$x<0$时有$f'(x)<0$，因此是极小值，这题选B。
PS：这里要注意的是$f'(0)=0$，然后要判断的是$f''(0)$的符号，才能判断是极大值或者极小值。然后发现$f''(0)=0$，于是不满足极值的条件，再判断$f''(x)$在$U(0,delta)$的情况，来判断凹凸性。一定要注意顺序。
(如果今年还遇到其他拐点和极值的关系的题目，欢迎评论到下方，到时候可以一起总结到这里!）