zoukankan      html  css  js  c++  java
  • 反向传播BP算法

    深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。


    第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用的符号有太多的小标,上标,给初学者带来不便。


    一. 网络结构

     经典的BP网络,其具体结构如下:

       

     请特别注意上面这个图的一些符号说明如下:




    二.  学习算法


         1. 信号的前向传递过程
              
                  请特别注意上述公式中的下标,这里,权值矩阵包含了神经元节点本身的偏置,所以权值矩阵多了一列。

       2.   误差反向传导过程
             
             
     












    三.  小结

         
               信号的前向传递和误差反向传递过程都可以用递归公式描述。其实,就几个公式而已,把相关的几个重要公式再次总结如下:
          




     

  • 相关阅读:
    矩阵乘法
    年关了,抛一个模拟ip刷票的php程序
    mysql处理大数据合并的另一种方法
    php之aop实践
    轻量级php框架phpk v1.0发布
    eclipse
    super关键字的使用
    方法的重写
    方法的重载
    java 构造器 (构造方法)
  • 原文地址:https://www.cnblogs.com/celerychen/p/3588204.html
Copyright © 2011-2022 走看看