zoukankan      html  css  js  c++  java
  • line search中的重要定理

    转载请注明出处:http://www.codelast.com/

    对精确的line search(线搜索),有一个重要的定理:

    f(xk+αkdk)Tdk=0


    这个定理表明,当前点在dk方向上移动到的那一点(xk+αkdk)处的梯度,与当前点的搜索方向dk的点积为零。

    其中,αk是称之为“步长”的一个实数,它是通过line search算法求出来的。

    为什么会有这样的结论?我们来看看。
    对每一个line search过程来说,搜索方向dk已经已经是确定的了(在最优化算法中,如何找出一个合适的dk不是line search干的事情)。所以,在一个确定的dk上,要找到一个合适的αk,使得ϕ(α)=f(xk+αdk)这个函数满足f(xk+αkdk)<f(xk),这就是line search的目的。说白了,就是要找到αk使ϕ(α)的函数函数值变小。
    文章来源:http://www.codelast.com/
    但是,要小到什么程度呢?假设小到有可能的“最小”,即:
    ϕ(αk)=f(xk+αkdk)=minα>0f(xk+αdk)=minα>0ϕ(α)
    那么,我们称这样的line search为“精确的line search”——你看,这名字好贴切:我们精确地找到了函数值最小的那个点。

    既然xk+αkdk是函数值最小的那个点,那么,在该点处的一阶导数(即梯度)为零,所以我们对上式求导(α是自变量,xkdk为常量):
    ϕ(αk)=[f(xk+αkdk)](0+1dk)=[f(xk+αkdk)]dk=f(xk+αkdk)Tdk=0
    文章来源:http://www.codelast.com/
    这就是我们前面说的定理了。

  • 相关阅读:
    数组对象---数据存储
    运行vue项目时,无法自动打开页面怎么办?
    数组扁平化
    数组去重
    CSS-----------text-transform
    CSS3-----width:max-content,min-content和fit_content属性
    可迭代对象
    bit和byte的 区别?
    前端常见跨域问题?
    HackerRank "Lucky Numbers"
  • 原文地址:https://www.cnblogs.com/focus-ml/p/3677452.html
Copyright © 2011-2022 走看看