zoukankan      html  css  js  c++  java
  • CNN训练算法与正则化

    CNN训练算法

    同一般机器学习算法,先定义Loss function,衡量和实际结果之间差距。找到最小化损失函数的W和b,CNN中用的算法是SGD。SGD需要计算W和b的偏导,即使用链式法则。

    梯度下降算法

    1)标准梯度下降法:

    标准梯度下降先计算所有样本汇总误差,然后根据总误差来更新权值

    2)随机梯度下降法:

    随机梯度下降随机抽取一个样本来计算误差,然后更新权值

    3)批量梯度下降法:

    批量梯度下降算是一种折中的方案,从总样本中选取一个批次(比如一共有10000个样本,随机选取100个样本作为一个batch),然后计算这个batch的总误差,根据总误差来更新权值。

    卷积神经网络优缺点:

    1)优点

    共享卷积核,对高维数据处理无压力

     无需手动选取特征,训练好权重,即得特征

    深层次的网络抽取图像信息丰富,表达效果好

    2)缺点

    需要调参,需要大样本量,训练最好要 GPU

    物理含义不明确

    正则化(Dropout)

    神经⽹网络学习能⼒力强可能会过拟合

    Dropout( 随机失活) ) 正则化:按一定的概率值随机失活一些连接权重值。

  • 相关阅读:
    前端日期格式化
    前端显示省略号
    模糊搜索和时间区间搜索
    数字保持小数点后一位
    每天一个linux命令(tcpreplay)
    每天一个linux命令(find)
    每天一个linux命令(netstat)
    每天一个linux命令(lsof)
    每天一个linux命令(tcpdump)
    每天一个linux命令(route)
  • 原文地址:https://www.cnblogs.com/yongfuxue/p/10095751.html
Copyright © 2011-2022 走看看