zoukankan      html  css  js  c++  java
  • 如何设置batchsize

    batchsize过小:每次计算的梯度不稳定,引起训练的震荡比较大,很难收敛。

    batchsize过大:

    (1)提高了内存利用率,大矩阵乘法并行计算效率提高。

    (2)计算的梯度方向比较准,引起的训练的震荡比较小。

    (3)跑完一次epoch所需要的迭代次数变小,相同数据量的数据处理速度加快。

    缺点:容易内容溢出,想要达到相同精度,epoch会越来越大,容易陷入局部最优,泛化性能差。

    batchsize设置:通常10到100,一般设置为2的n次方。

    原因:计算机的gpu和cpu的memory都是2进制方式存储的,设置2的n次方可以加快计算速度。

  • 相关阅读:
    第五周上机作业
    第四周练习
    第八周上机练习
    第七周作业
    第七周上机练习
    第六周作业
    第六周上机练习
    第五周上机作业
    第四周作业
    第四周上机练习
  • 原文地址:https://www.cnblogs.com/happytaiyang/p/11617551.html
Copyright © 2011-2022 走看看