【证明】【一题多解】—— 负梯度方向的证明

1. 一节泰勒展开

• 负梯度方向即为（以矢量形式为例）：dk=−g(xk)${\mathbf{d}}_{\mathbf{k}}\mathbf{=}\mathbf{-}\mathbf{g}\mathbf{(}{\mathbf{x}}_{\mathbf{k}}\mathbf{)}$

  f(xk+λdk)≈f(xk)+λgT(xk)dk$$f(x_k+\lambda d_k)\approx f(x_k)+\lambda g^T(x_k)d_k$$
  • 由矢量相乘的 a⋅b=aTb=∥a∥∥b∥cosθ$a\cdot b=a^{T}b=\Vert a\Vert \Vert b\Vert \cos \theta$，可知 gT(xk)dk≥−gT(xk)dk$g^T(x_k)d_k\ge -g^T(x_k)d_k$（dk$d_k$与g(xk)$g(x_k)$同向时，即两者呈180°，互为反方向，等号取得）