基础知识
偏导数
关于d,可以认为是投影方向(以三维为二位例子理解)
偏导数是方向导数的子集合,还是以三维为例,偏导数是各标准方向,方向导数是各个方向
利用变换主元的思想,可以将α视作未知数,就可以得到已下的推到
也即为
直观理解
梯度
梯度:是一个矢量,其方向上的方向导数最大,其大小正好是此最大方向导数,试想一个山,每一点都取梯度,则最终会得到最快的下山路径
欧几里得范数
欧几里得范数指得就是通常意义上的距离范数。例如在欧式空间里,它表示两点间的距离(向量的模长),||x||表示向量的长度.
数值优化