zoukankan      html  css  js  c++  java
  • 2. 卷积神经网络细解

    数据输入层

    对于通常情况下的数据预处理,有3种常见的数据处理方式:

    1. 去均值:把输入数据各个维度都中心化到0
    2. 归一化:幅度归一化至同样的范围
    3. PCA/白化:PCA用于降维;白化是对数据每个特征走上的幅度归一化

    下面是去均值与归一化的可视化:
    去均值和归一化

    在图像分类中的数据预处理一般只需要将图片统一处理为同样的分辨率然后去均值。因为图像数据各个通道的取值为都在[0,255],所以不需要做归一化。
    下面介绍两个网络的做法:

    1. AlexNet:假设训练集一共有200w张图片,将这些图片各个通道的值加在一起取均值。然后每张图片输入时减去这个均值再进入网络。
    2. VGG:

    卷积计算层

    可以认为图像有一种局部关联的特性,这就可以引入一个滑动的窗口,对局部进行计算。可以认为下一层的神经元只关注了一个局部的特性。
    涉及概念:
    - 深度/depth
    - 步长/stride
    - 填充值/zero-padding

    卷积计算过程

    去均值和归一化

    激励层

    将卷积层的输入结果做出非线性的效果
    以前常用sigmoid函数,但是它存在一个问题,当靠近两端时,梯度几乎为0,出现梯度消失的情况,使得模型难以学习。
    相比之下RELU数学表达简单,神经网络收敛快。

    池化层

    夹杂在连续的卷积层中,压缩数据和参数的量,减少过拟合。分为max pooling 和 average pooling

    全连接层

    一般在CNN的尾部

  • 相关阅读:
    CentOS6 install Ruby 1.9.3
    php注释规范
    ecstore小记
    关于local storage 和 session storage以及cookie 区别简析
    local storage 简单应用‘’记住密码’
    点击按钮播放音频 停止后再次点击再次播放 添加背景音乐
    页面触底自动加载数据
    侧导航下载
    解决ie对于Bootstrap的兼容性问题
    js判断微信 选择浏览器打开
  • 原文地址:https://www.cnblogs.com/shayue/p/10369455.html
Copyright © 2011-2022 走看看