zoukankan      html  css  js  c++  java
  • keras模块之-优化器(optimizers)--笔记

         本笔记由博客园-圆柱模板 博主整理笔记发布,转载需注明,谢谢合作!

           优化器是调整每个节点权重的方法,如:

    model = Sequential() 
    model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation('tanh')) 
    model.add(Activation('softmax')) 
    sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='mean_squared_error', optimizer=sgd)
    

      可以看到优化器在模型编译前定义,作为编译时的两个参数之一

         代码中的sgd是随机梯度下降算法 
    lr表示学习速率 
    momentum表示动量项 
    decay是学习速率的衰减系数(每个epoch衰减一次) 
    Nesterov的值是False或者True,表示使不使用Nesterov momentum

    以上4个参数以后具体学习了再解析

    除了sgd,还可以选择的优化器有RMSprop(适合递归神经网络)、Adagrad、Adadelta、Adam、Adamax、Nadam

  • 相关阅读:
    dmesg
    [转]df命令
    [转]linux /proc/cpuinfo 文件分析
    awk
    sed
    [转]进程间通信
    Bootstrap 树形列表与右键菜单
    Maven国内仓库
    《深入剖析Tomcat》源码
    Spring in Action学习笔记(2)
  • 原文地址:https://www.cnblogs.com/68xi/p/8661108.html
Copyright © 2011-2022 走看看