zoukankan      html  css  js  c++  java
  • 007-卷积神经网络03-前向传播-反向传播

    前向传播:

    前向传播就是求特征图的过程

    通常x和w有四个维度[编号,深度,高度,宽度]

     

    反向传播:

    先来复习一下反向传播的知识:

    反向传播回来的是梯度,也就是偏导数

    反向传播力有一个链式法则:对于反向传播(反着看),本层要往后面一层穿的的偏导=本层自身的偏导×上一层传过来的偏导

    红色代表反向传播,绿色代表正向传播

     

    out = wx+b

    out对w求倒数:(wx+b)’=x

    那么dw = dout·x

    那么换到矩阵之后我的反向传播就可以是dout与x的内积

    对于卷积层的反向传播:

    每一个dout都对应一个filter上图只是对于filter 1所做的反向传播

    同理就有filter2的反向传播

     

    对于pooling层的反向传播:

     

     

  • 相关阅读:
    关于postman返回参数
    字典(dict)
    序列(tuple)
    列表(List)
    字符串截取
    条件及循环语句
    函数
    变量和类型
    post请求
    django学习-5.获取url参数和name的作用
  • 原文地址:https://www.cnblogs.com/Mjerry/p/9804721.html
Copyright © 2011-2022 走看看