0607-参数初始化策略

0607-参数初始化策略

目录

• 一、参数初始化策略概述
• 二、利用 nn.init 初始化
• 三、直接初始化

pytorch完整教程目录：https://www.cnblogs.com/nickchen121/p/14662511.html

一、参数初始化策略概述

深度学习中，一个好的参数初始化策略可以让模型更快地收敛，而一个差的参数初始化策略可能会让模型很难进行收敛，反复震荡甚至崩溃。

nn.Module 中的参数一般都采取了比较合适的初始化策略，因此一般我们不需要考虑。不过我们也可以自定义一个参数初始化策略代替系统默认的，比如当我们使用 Parameter 时，由于 t.Tensor() 返回的是内存中的随机数，很可能会有极大值，这会时训练网络时造成溢出或者梯度小时，因此此时自定义一个参数的初始化策略尤为重要。

torch 中的 nn.init 模块专门为初始化设计，实现了一些常用的初始化侧路了，而且就算如果某种初始化策略 nn.init 不提供，用户也可以自己直接初始化。

二、利用 nn.init 初始化

Glorot 正态分布初始化方法，也称作 Xavier 正态分布初始化，参数由 0 均值，标准差为 (sqrt{frac{2}{(fan_{in} + fan_{out}})}) 的正态分布产生，其中(fan_{in}) 和 (fan_{out}) 是分别权值张量的输入和输出元素数目。这种初始化同样是为了保证输入输出的方差不变，但是原论文中 [1] 是基于线性函数推导的，同时在 tanh 激活函数上有很好的效果，但不适用于ReLU激活函数。

[std=gain×sqrt{frac{2}{fan_{in}+fan_{out}}} ]

看不懂就别看了，我都没仔细看，百度 copy 来的。

参考：[1] Understanding the difficulty of training deep feedforward neural networks — Glorot, X. & Bengio, Y. (2010)

import torch as t
from torch import nn
from torch.nn import init
linear = nn.Linear(3, 4)

t.manual_seed(1)
# 等价于 linear.weight.data.normal_(0, std)
init.xavier_normal_(linear.weight)  #

Parameter containing:
tensor([[ 0.3535,  0.1427,  0.0330],
        [ 0.3321, -0.2416, -0.0888],
        [-0.8140,  0.2040, -0.5493],
        [-0.3010, -0.4769, -0.0311]], requires_grad=True)

三、直接初始化

import math
t.manual_seed(1)

# xavier初始化的计算公式
std = math.sqrt(2) / math.sqrt(7.)
linear.weight.data.normal_(0, std)

tensor([[ 0.3535,  0.1427,  0.0330],
        [ 0.3321, -0.2416, -0.0888],
        [-0.8140,  0.2040, -0.5493],
        [-0.3010, -0.4769, -0.0311]])

# 对模型的所有参数进行初始化
for name, params in net.named_parameters():
    if name.find('linear') != -1:  # 对所有全连接层的参数进行初始化
        # init linear
        params[0]  # weight
        params[1]  # bias
    elif name.find('conv') != -1:
        pass
    elif name.find('norm') != -1:
        pass

---------------------------------------------------------------------------

NameError                                 Traceback (most recent call last)

<ipython-input-3-78d2673ab1d6> in <module>
      1 # 对模型的所有参数进行初始化
----> 2 for name, params in net.named_parameters():
      3     if name.find('linear') != -1:  # 对所有全连接层的参数进行初始化
      4         # init linear
      5         params[0]  # weight


NameError: name 'net' is not defined