模拟退火算法

来自：http://blog.sina.com.cn/s/blog_4bc179a80100dl9i.html

1、  模拟退火算法（起源）

模拟退火算法起源于物理退火。

物理退火过程：

（1）       加温过程

（2）       等温过程

（3）       冷却过程

                           

物理退火原理

1953年，Metropolis提出重要性采样法，即以概率接受新

状态，称Metropolis准则，计算量相对Monte Carlo方法

显著减少。

1983年，Kirkpatrick等提出模拟退火算法，并将其应用

于组合优化问题的求解。

2、  模拟退火算法

    Metropolis准则

1）  Metropolis准则提出

    固体在恒定温度下达到热平衡的过程可以用MorteCarol算法方法加以模

拟，虽然该方法简单，但必须大量采样才能得到比较精确的结果，因而计算量很

大。鉴于物理系统倾向于能量较低的状态，而热运动又妨碍它准确落到最低态。

采样时着重选取那些有重要贡献的状态则可较快达到较好的结果。因此，

Metropolis等在1953年提出了重要的采样法，即以概率接受新状态。

2）  Metropolis准则

     假设在状态x_old时，系统受到某种扰动而使其状态

变为x_new。与此相对应，系统的能量也从E(x_old)变

成E(x_new)，系统由状态xold变为状态xnew的接受概率p：

模拟退火算法-------步骤

1) 随机产生一个初始解x0，令xbest＝ x0 ，并计算目标函数值E(x0);

2) 设置初始温度T(0)=To，迭代次数i = 1;

3) Do while T(i) > Tmin

1) for j = 1~k

2) 对当前最优解xbest按照某一邻域函数，产生一新的解x_new。计算新的目

标函数值E(x_new) ，并计算目标函数值的增量ΔE = E(xnew) - E(xbest) 。

3) 如果ΔE ＜0，则x_best = x_new；

4) 如果ΔE ＞0，则p = exp(- ΔE /T(i));

1) 如果c = random[0,1] < p， xbest = xnew; 否则xbest = xbest。

5) End for

4) i = i ＋ 1；

5) End Do

6) 输出当前最优点，计算结束

下图为模拟退火算法流程图：

                           

模拟退火算法------参数的选择

   冷却进度表

    我们称调整模拟退火法的一系列重要参数为冷却进度表。它控制参数T的初值及其衰减函数，对应的MARKOV链长度和停止条件，非常重要。
一个冷却进度表应当规定下述参数：

    1．控制参数t的初值t0;
2．控制参数t的衰减函数；
3．马尔可夫链的长度Lk。（即每一次随机游走过程，要迭代多少次，才能趋于一个准平衡分布，即一个局部收敛解位置）
4．结束条件的选择
有效的冷却进度表判据：
一．算法的收敛：主要取决于衰减函数和马可夫链的长度及停止准则的选择
二．算法的实验性能：最终解的质量和CPU的时间

   参数的选取：
一）控制参数初值T0的选取
一般要求初始值t0的值要充分大，即一开始即处于高温状态，且Metropolis的接收率约为1。

(1) 均匀抽样一组状态，以各状态目标值的方差为初温。

(2) 随机产生一组状态，确定两两状态间的最大目标值差

|Δmax|，然后依据差值，利用一定的函数确定初温。比如，

t0=－Δmax/pr ，其中pr为初始接受概率。
二）衰减函数的选取　
衰减函数用于控制温度的退火速度，一个常用的函数为：T(n + 1) = K*T(n)，其中K是一个非常接近于1的常数。
三）马可夫链长度L的选取
原则是：在衰减参数T的衰减函数已选定的前提下，L应选得在控制参数的每一取值上都能恢复准平衡。
四）终止条件
有很多种终止条件的选择，各种不同的条件对算法的性能和解的质量有很大影响，我们只介绍一个常用的终止条件。即上一个最优解与最新的一个最优解的之差小于某个容差，即可停止此次马尔可夫链的迭代。

 3、模拟退火算法的优缺点 

  优点：计算过程简单，通用，鲁棒性强，适用于并行处理，可用于求解复杂的非线性优化问题

缺点：收敛速度慢，执行时间长，算法性能与初始值有关及参数敏感等缺点

经典模拟退火算法的缺点：

1)如果降温过程足够缓慢，多得到的解的性能会比较好，但与此相对的

是收敛速度太慢;

(2)如果降温过程过快，很可能得不到全局最优解。

模拟退火算法的改进

(1) 设计合适的状态产生函数，使其根据搜索进程的需要

表现出状态的全空间分散性或局部区域性。

(2) 设计高效的退火策略。

(3) 避免状态的迂回搜索。

(4) 采用并行搜索结构。

(5) 为避免陷入局部极小，改进对温度的控制方式

(6) 选择合适的初始状态。

(7) 设计合适的算法终止准则。

也可通过增加某些环节而实现对模拟退火算法的改进。主要的改

进方式包括：

(1) 增加升温或重升温过程。在算法进程的适当时机，将温度适当提

高，从而可激活各状态的接受概率，以调整搜索进程中的当前状

态，避免算法在局部极小解处停滞不前。

(2) 增加记忆功能。为避免搜索过程中由于执行概率接受环节而遗失

当前遇到的最优解，可通过增加存储环节，将一些在这之前好的态记忆下来。

(3) 增加补充搜索过程。即在退火过程结束后，以搜索到的最优解为

初始状态，再次执行模拟退火过程或局部性搜索。

(4) 对每一当前状态，采用多次搜索策略，以概率接受区域内的最优

状态，而非标准SA的单次比较方式。

(5) 结合其他搜索机制的算法，如遗传算法、混沌搜索等。

(6)上述各方法的综合应用。

4、模拟退火算法应用

1、  函数的最小值问题

 以二维函数f(x,y) = 5sin(xy) + x^2 + y^2为例

2、  TSP（Traveling Salesman Problem）问题