zoukankan      html  css  js  c++  java
  • 《最优化导论》-8梯度方法

    1.梯度迭代

    a>0时,负梯度方向,是函数值下降方向

    1.1梯度下降法

    当接近极小值时,梯度接近0,通用形式如下,有一些具体实现:

    1)最速下降法

    梯度下降的一种具体实现,理念是在每次迭代时,选择最佳合适的步长ak,使得目标函数值最大程度的减少。

    流程:初始迭代点出发,沿负梯度方向开展前面说的一维搜索,找到最优步长a,从而确定新的迭代出发点,不断这样,直至收敛(实际小于某些阀值即可)。

    可以发现,最速下降法的相邻搜索方向,是正交的,证明:8.1。

    2)二次型中的使用

    则:

    二次型中最佳步长解析式

    瑞丽不等式:

     

     

  • 相关阅读:
    开始熟悉一下数据结构了
    首个概率dp
    十六进制转化为八进制
    蓝桥之 剪格子
    蓝桥之 颠倒的价格
    还是闲的
    也是闲的
    闲的无聊,,,
    函数进阶
    函数基础
  • 原文地址:https://www.cnblogs.com/onenoteone/p/12441744.html
Copyright © 2011-2022 走看看