zoukankan      html  css  js  c++  java
  • Tensorflow自编码器及多层感知机

    (1)Xavier初始化权重:让权重满足0均值,方差为2 / (fan_in+fan_out),分布可以用均匀分布或高斯分布。

        以均匀分布为例:均匀分布方差D(x)=(b-a)/ 12。具体推导查书吧。

        fan_in为输入节点,fan_out为输出节点。

        a,b都是fan_in,fan_out的映射,假设a,b关于原点对称且a<0<b,b = -a

       2/(fan_in+fan_out) = (b-a)2/12 

            且  b= -a

      解得:b= sqrt(6/(fan_in+fan_out))

                     a= -b

       此时满足Xavier条件。tf.random_uniform创建(a,b)范围内的均匀分布,方差满足2 / (fan_in+fan_out)。

    1 def xavier_init(fan_in, fan_out, constant = 1):
    2     low = -constant * np.sqrt(6.0 / (fan_in + fan_out))
    3     high = constant * np.sqrt(6.0 / (fan_in + fan_out))
    4     return tf.random_uniform((fan_in, fan_out), minval=low, maxval=high, dtype= tf.float32)

       

  • 相关阅读:
    监听事件 队列 邮件发送
    elasticsearch 天气
    elasticsearch
    event 监听事件
    observer 监听的实现 laravel 框架
    中间件
    git 代码 上传到码云
    laravel 省略入口文件 index.php
    limit offset 和limit
    CSS变形和动画
  • 原文地址:https://www.cnblogs.com/eclipSycn/p/7171205.html
Copyright © 2011-2022 走看看