调参tips

对于一个模型，都可以从以下几个方面进行调参：

1. 对weight和bias进行初始化（效果很好，一般都可以提升1-2%）

 Point 1 (CNN):

for conv in self.convs1:
   init.xavier_normal(conv.weight, gain=np.sqrt(2.0))　　# 对weight进行正态分布初始化
   # init.normal(conv.weight, mean=0, std=0.1)
   # init.constant(conv.bias, 0.1)　　　　　　　　　　　　　　# 对bias初始化为0.1

Point 2 (LSTM):

（1）Bias vectors are initialized to zero, except the bias b f for the forget gate in LSTM , which is initialized to 1.0 .(参见论文End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF)。weight 使用高斯分布或是均匀分布都可以。详细讲解参考博文Deep Learning 之 参数初始化

（2）简单的设置就是，weight设为0.1，bias设为0。

        init.xavier_normal(self.lstm.all_weights[0][0], gain=np.sqrt(2.0))
        self.lstm.all_weights[0][3].data[20:40].fill_(1)    # forget gate
        self.lstm.all_weights[0][3].data[0:20].fill_(0)
        self.lstm.all_weights[0][3].data[40:80].fill_(0)    

注：对于封装好的lstm，其提供了all_weights接口统一对其参数进行初始化，不能单个定义，forget gate对应的下标是20-39。若是使用lstmcell则可以对单个想要修改的参数进行修改。

2. clip  gradients让权重的梯度更新限制在一定范围内，防止单个节点出现梯度爆炸、梯度消失。

optimizer.zero_grad()
logit = model(feature)
loss = F.cross_entropy(logit, target)
loss.backward()
# clip gradients
utils.clip_grad_norm(model.parameters(), 5)
optimizer.step()

3. L2 regularization

L2值也叫惩罚值，是为了防止过拟合问题。提供了接口可直接设值，一般设为1e-8。

optimizer = torch.optim.Adam(model.parameters(), lr=args.lr, weight_decay=0.01)

4. batch normalization批标准化若设置正确，据说会大大加大迭代速度，效果明显。

若是BatchNorm2d(x)，input是（batchsize，channel，height，width），x值对应channel，即维度1。所以channel=0时，求一次mean，var，做一次normalize；channel=1时，求一次.......channel=x时，求一次。BatchNorm1d时情况也是一样的，x对应的是维度1的值，若是不对应，则需要进行转置，如下示例。

m = nn.BatchNorm1d(2)
input = torch.randn(2, 10)
input = Variable(input)
input = Variable(torch.transpose(input.data, 0, 1))
print(input)
output = m(input)
print(output)

 Point 1 (CNN):

    def __init__(self, args):
        super(CNN, self).__init__()
        self.bn = nn.BatchNorm2d(1)
    
    def forward(self, x):
            for conv in self.convs1:
            xx = conv(x)                        # variable [torch.FloatTensor of size 16x200x35x1]
            xx = Variable(torch.transpose(xx.data, 2, 3))
            xx = Variable(torch.transpose(xx.data, 1, 2))
            xx = self.bn(xx)
            xx = F.relu(xx)
            xx = xx.squeeze(1)
            a.append(xx)

Point 2 (LSTM):

class BiLSTM(nn.Module):
    def __init__(self, args):
        super(BiLSTM, self).__init__()
        self.bn1 = nn.BatchNorm1d(2*self.hidden_size) 

　　def forward(self, sentence):
        out = self.bn1(out)
        out = F.tanh(out)
        y = self.hidden2label(out)            

结果：以上两种设置并没有提高准确率。

Point 3 (BN-LSTM):

参看论文RECURRENT BATCH NORMALIZATION，不使用pytorch框架，自己实现。