zoukankan      html  css  js  c++  java
  • Dropout函数

    什么是dropout?

    在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。深度学习中在代码中经常碰到的dropout函数是指我们在训练神经网络的过程中,随机丢弃一部分神经网络单元,只是暂时移除训练过程。即在前向传播的时候,让某个神经元的激活值以一定的概率p停止工作,这样可以使模型泛化性更强,因为它不会太依赖某些局部的特征

    相当于以一定的概率减少训练过程中神经网络的数量,从而也使得训练的负荷减少,提高训练的速度

    dropout的作用

    有效的防止过拟合,大型的神经网络在小的数据集上训练时会导致过拟合

     

    详细解释参考:http://pan.baidu.com/s/1c0Ri2Py

                             https://www.cnblogs.com/liaohuiqiang/p/9194699.html

     
     
     
     
     
     
  • 相关阅读:
    【读书笔记】深入理解计算机系统
    快速排序
    列表查找的两种方法
    冒泡排序、选择排序、插入排序
    堆排序
    supervisor进程管理
    redis-主从复制
    redis-淘汰策略
    URI和URL
    python爬虫之xpath的基本使用
  • 原文地址:https://www.cnblogs.com/Carits/p/12870152.html
Copyright © 2011-2022 走看看