zoukankan      html  css  js  c++  java
  • 导数、梯度和极值

    这三个概念有区别又有联系,首先先上定义。

    导数Derivative)是微积分学中重要的基础概念。

    一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。导数的一般定义如下:

    可见处的导数是趋向于零时候上式的极限。

    极限(Limit)它描述函数值在接近某一给定的自变量时的特征,定义如下:

    对于任意的,必存在一个,使得若,则,则称时的极限。

    下面看一个例子:

    求椭圆面在点(1,1,1)处的切平面及法线方程。

    解:

         切平面方程为

         即:

         法线方程为

    其中,的偏导数。

    再看形如之类的函数,求导得到,这就是切线的斜率,然后就得到了处的切线。

    不禁有人会问,这二者看似无关,都是求的导数,怎么一个是法向量一个是切线斜率,二者有什么联系吗?

    其实看导数的定义就可以知道,y=f(x)这类的函数的导数f'(x)是对x求导,故反应的是y的值随着x的变化率,比如y=x^2的导数为y=2x,说明y在x方向的变换速度是2x。

    如果把y=f(x)写成f(x)-y=0,这时偏导数为(f'(x), -1),切平面方程为,这里就能清楚的看出切平面方程其实是从二维推到N维的,所以能够反推回来。

    下面讲梯度这个问题,有个优化算法叫梯度下降算法,使每次优化迭代计算都按照最优的方向(额,下降时就是梯度的负方向)进行计算。首先能看出梯度应该是一个矢量,有大小有方向。那么什么是梯度呢,

    这里给出维基百科的解释:

    梯度(Gradient): 在向量微积分中,标量场的梯度是一个向量场。标量场中某一点的梯度指向在这点标量场增长最快的方向(当然要比较的话必须固定方向的长度),梯度的绝对值是长度为1的方向中函数最大的增加率,也就是说  ,其中代表方向导数。以另一观点来看,由多变数的泰勒展开式可知,从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上,梯度是雅可比矩阵的一个特殊情况。

    在单变量的实值函数的情况,梯度只是导数,或者,对于一个线性函数,也就是线的斜率。

    这句比较清楚,梯度在实值函数就是偏导数!一般来讲,求函数的极值会先去求导数,然后令导数等于零,这个点不一定是极值,但是一定是极值的必要条件,也就是说极值点的导数必为零。从定义不难看出,

    偏导数或导数反应的是函数在这一点附近的变化率,所以极值点附近(这里是无线近)的变换率应为零。

    通过上述可以知道,在实值函数里面,偏导数就是梯度,而且也是该点的法向量。

    (自己一点浅见,有问题欢迎指正)

  • 相关阅读:
    《西北师范大学疫情防控信息系统》
    《西北师范大学学生疫情上报系统》项目报告
    201771010138-邹丰蔚 实验一 软件工程准备-<学习准备>
    201771030111-刘维 实验四 软件项目案例分析
    201771030111-刘维 实验三 结对项目—《西北师范大学疫情防控信息系统》项目报告
    MySql-5.7.29 zip版安装教程
    201771030111-刘维 实验二 个人项目—《西北师范大学学生疫情上报系统》项目报告
    201771030111-刘维 实验一 软件工程准备一<读《现代软件工程-构建之法》有问>
    201771030106-葛佳诚 实验四 软件项目案例分析
    201771030106-葛佳诚 实验三 结对项目—《西北师范大学疫情防控信息系统》项目报告
  • 原文地址:https://www.cnblogs.com/Kaivenblog/p/6542095.html
Copyright © 2011-2022 走看看