zoukankan      html  css  js  c++  java
  • 反向传播

     反向传播是为了更新参数,参数更新要用代价函数对参数求导,但是参数可能是经过很多层间接作用到最后一层的输出上的。 所以用先计算每层输入对最后代价函数的影响, 最后对参数的更新就可以表示为代价函数对每层的影响残差 (代价函数每一层的输入求偏导)再链式乘上输入对参数求偏导。最后参数的更新值就变为:每层的残差乘上上一层的输出。

    而在计算每一层的残差时,l层的残差是建立在l+1层的残差之上的,因为我们最先能算出倒数第一层的残差,(代价函数对第l层的输入求偏导,相当于对l+1 层的输入求偏导,再乘上l+1层的输入对l层的输出求偏导,这两个值已经能得到)

     激活函数详解:http://www.cnblogs.com/fanhaha/p/7061318.html

     

     

    流程:

    输入训练集

    对于训练集中的每个样本x,设置输入层(Input layer)对应的激活值
    • 前向传播:
        , 
       计算输出层产生的错误:
          
       反向传播错误:
        
          使用梯度下降(gradient descent),训练参数:
     
              
     
              
     

    参考博文:http://www.cnblogs.com/Crysaty/p/6138390.html

    补充问题: 防止过拟合?

                      梯度下降解释

  • 相关阅读:
    k-means算法
    偏差-方差分解Bias-Variance Decomposition
    常见machine learning模型实现
    Bag-of-words模型、TF-IDF模型
    atomic原子操作
    oc 计算 带括号 式子
    oc 基本语法 类 静态变量 常量
    通过文件头标识判断图片格式
    十大经典排序算法最强总结(含JAVA代码实现)(转)
    JPEG格式 介绍
  • 原文地址:https://www.cnblogs.com/fanhaha/p/7061450.html
Copyright © 2011-2022 走看看