zoukankan      html  css  js  c++  java
  • BP神经网络的参数改进参考?

    参考文献:黄巧巧. 基于BP神经网络的手写数字识别系统研究[D].华中师范大学,2009.  47-52

    BP神经网络的缺陷:收敛速度慢和局部极小点的问题

    使用的改进方案有

    1. 学习速率(learning rate)的改进

    1.1在训练开始时采用较大的学习速率,在迭代训练时将学习速率减小。

    1.2自适应学习速率(略)

    2. 激励函数的改进。传统方式使用S函数,对收敛速度,学习效率,误入局部最小等问题进行调整

    2.1采用三角函数f(x) = (0.5/λ)sin(λx)+0.5/λ

    2.2采用改进的S函数 f(x) = 

    3.附加动量的改进,抑制局部最小的结果

    △w(k+1) = (1-mc)η▽f(w(k))+mc(w(k)-w(k-1))

    w为权值向量,k为训练次数,mc为动量因子▽f(w(k))为误差函数的梯度。

    试了一下2.2,确实有点效果。

  • 相关阅读:
    o gdb
    net -t struct ifreq
    file -x stat()-fstat()-lstat()
    I/O -x fcntl()
    I/O -x dup() dup2()
    14条---注意点
    user -x userid
    err -x perror() strerror()
    苹果电脑挂载NTFS移动硬盘
    ASP.NET Core之EF Core学习笔记
  • 原文地址:https://www.cnblogs.com/bai2018/p/10354326.html
Copyright © 2011-2022 走看看