zoukankan      html  css  js  c++  java
  • CNN训练算法与正则化

    CNN训练算法

    同一般机器学习算法,先定义Loss function,衡量和实际结果之间差距。找到最小化损失函数的W和b,CNN中用的算法是SGD。SGD需要计算W和b的偏导,即使用链式法则。

    梯度下降算法

    1)标准梯度下降法:

    标准梯度下降先计算所有样本汇总误差,然后根据总误差来更新权值

    2)随机梯度下降法:

    随机梯度下降随机抽取一个样本来计算误差,然后更新权值

    3)批量梯度下降法:

    批量梯度下降算是一种折中的方案,从总样本中选取一个批次(比如一共有10000个样本,随机选取100个样本作为一个batch),然后计算这个batch的总误差,根据总误差来更新权值。

    卷积神经网络优缺点:

    1)优点

    共享卷积核,对高维数据处理无压力

     无需手动选取特征,训练好权重,即得特征

    深层次的网络抽取图像信息丰富,表达效果好

    2)缺点

    需要调参,需要大样本量,训练最好要 GPU

    物理含义不明确

    正则化(Dropout)

    神经⽹网络学习能⼒力强可能会过拟合

    Dropout( 随机失活) ) 正则化:按一定的概率值随机失活一些连接权重值。

  • 相关阅读:
    前端:js
    HTML和CSS总结
    前端二:CSS
    前端一:走进HTML
    SQLALchemy(连表)、paramiko
    上下文管理、线程池、redis订阅和发布
    P4234 最小差值生成树
    P2387 [NOI2014]魔法森林
    P3721 [AH2017/HNOI2017]单旋
    P4271 [USACO18FEB]New Barns
  • 原文地址:https://www.cnblogs.com/yongfuxue/p/10095751.html
Copyright © 2011-2022 走看看