zoukankan      html  css  js  c++  java
  • Neural Network and DeepLearning (6.2)深度学习

    卷积神经网络在实际中的应用

    在实际训练卷积神经网络中有很多方法可以对均积神经网络进行优化。

    使用线性修正单元(Using rectified linear units

    用激活函数:

    来代替S型激活函数。

    扩展训练数据(Expanding the training data

    插入一个额外的全连接层(Inserting an extra fully-connected layer

    对全连接层使用弃权(dropout)

    为什么只在网络的全连接层使用弃权呢?因为卷积层有相当大的先天对于过度拟合的抵抗。因为共项权重意味着卷积滤波器被强制从整个图像中进行学习。这使得他们不太可能去选择训练数据中的局部特质。也就没有必要来应用其他技术来对他进行规范化,例如弃权。

    为什么我们能训练深度神经网络?

    卷积神经网络通过下面的方法避免了深度学习中的梯度不稳定问题(梯度的消失问题和梯度的爆炸问题)

    (1)使用卷积层极大的减少了这些层中的参数数目,使学习的问题更加容易;

    (2)使用更多强有力的规范化技术(尤其是弃权和卷积层)来减少过度拟合;

    (3)使用线性修正单元而不是S型神经元,来加速训练;

    (4)使用GPU并愿意长时间训练;

    (5)以算法的形式扩展训练数据,利用充分大的数据集进行训练(避免过度拟合);

    (6)使用好的权重初始化(为了避免因为神经元饱和引起的学习减速);

  • 相关阅读:
    instanceof方法
    Java 实现接口计算圆柱的体积和面积并添加颜色
    Java代码执行顺序
    Java饿汉单例模式
    斐波那契数(动态规划和递归)
    Java 接口实现计算器加减乘除(字符交互界面)
    局部内部类详解_转载
    Java引用类型
    递归打印字符串
    时间复杂度
  • 原文地址:https://www.cnblogs.com/zhoulixue/p/6601333.html
Copyright © 2011-2022 走看看