zoukankan      html  css  js  c++  java
  • Truncated Normal Distribution とNeural Network(ニューラルネットワーク)の初期化(Initialization)

    Truncated Normal Distribution とNeural Network(ニューラルネットワーク)の初期化(Initialization)

    Tensorflowを利用してもらった初めてに、どうしてもニューラルネットワークの初期化を迷っていることが避けない。
    実はルールがあります、そしてやり方は簡単し、ご注意のところが薄がって、なんの困りがありませんはずだ。

    まずコードの欠片を見せてください!

    import tensorflow as tf

    def get_conv_weights(w, h, chn_in, chn_out):
    dim = [w, h, chn_in, chn_out]
    init_op = tf.truncated_normal(dim, mean=0.0, stddev=0.1)
    return tf.get_variable(
    name='weights',
    initializer=init_op)

    def get_fc_weights(chn_in, chn_out):
    dim = [chn_in, chn_out]
    init_op = tf.truncated_normal(dim, mean=0.0, stddev=0.1)
    return tf.get_variable(
    name='weights',
    initializer=init_op)

    ここに書いてあるものはパラメーターの初期化です。stddevはその一番重要なセットだ。普通には0.1ー0.2に限定している。この範囲以外のセットはダメだ。
    なぜダメだろうか、実際に運転すればすぐ分かるぞ。
    とくにsoftmax-cross-entrophy lossとのお使い場合には立派な程度で役に立つ。

  • 相关阅读:
    UITableViewCell出现动画
    Block简单使用
    Storyboard可视化编程详解
    布局案例
    WebStorm-快捷键
    盒模型布局相关-基础与语法
    多线程编程-003-NSOPeration
    linux安装redis 和 使用
    mui iOS云打包修改权限提示语
    vue 合成图片
  • 原文地址:https://www.cnblogs.com/thisisajoke/p/12065837.html
Copyright © 2011-2022 走看看