zoukankan      html  css  js  c++  java
  • 贪玩ML系列之CIFAR-10调参

    调参方法:网格调参

     

    tf.layers.conv2d()中的padding参数

    取值“same”,表示当filter移出边界时,给空位补0继续计算。该方法能够更多的保留图像边缘信息。当图片较小(如CIFAR-10中的32*32)时,推荐使用该选项

    取值“valid”,表示当filter移出边界时,舍弃该filter

    tf.layers.conv2d()中的filters参数 

    一般取值:

    一般越靠后的层,我们将它的filters取的更多一些,一是为了保留更多的信息,二是为了提取更多抽象的特征

    tf.layers.conv2d()中的kernel_size参数和strides参数

    tf.layers.max_pooling2d()中的pool_size参数和strides参数

    kernel参数一般取7/5/3/1等,strides一般取3/2/1等

    一般越靠后的层,我们将kernelsize取的越大一些,strides不变

    tf.layers.dense()中的units参数

    一般取值:1024/2048/4096

    tf.train.AdamOptimizer()中的learning_rate参数

    一般取值:0.001/0.01/0.1/0.0001

    一般在训练开始时我们将learning_rate调大让模型加速下降,在训练一段时间后我们将learning_rate调小让模型更易收敛

    epochs参数(批次数)

    这个不确定,一般我们写一个脚本,判断当validation accuracy不断小幅度波动时停止

    batch_size参数

    一般取64/128/256

    图片大的时候取小一点,防止炸内存(例如CIFAR-10中图片小,32*32,所以我们可以取大一点的例如256)

    理论上取大一点好

    一般取2的整数次方

    keep_probability参数

     一般默认0.5

    conv_pooling的层数

     随缘,深的能力强

  • 相关阅读:
    刚学的 activity 之间的两种(带数据)跳转
    SharePreference 把少量数据写到 文件中
    Android 使用资源
    SQLite 初步测试
    android 操作 sd 卡上的文件
    android 操作文件
    002android 布局(layout)
    Activity_liftCycle — 生命周期
    android 创建、删除 文件和文件夹 测试
    android 实现粗糙的文件浏览器
  • 原文地址:https://www.cnblogs.com/zealousness/p/9333215.html
Copyright © 2011-2022 走看看