[课堂笔记][pytorch学习][4]情感分析

 

第一步：导入豆瓣电影数据集，只有训练集和测试集

 

 

• TorchText中的一个重要概念是Field。Field决定了你的数据会被怎样处理。在我们的情感分类任务中，我们所需要接触到的数据有文本字符串和两种情感，"pos"或者"neg"。
• Field的参数制定了数据会被怎样处理。
• 我们使用TEXT field来定义如何处理电影评论，使用LABEL field来处理两个情感类别。
• 我们的TEXT field带有tokenize='spacy'，这表示我们会用spaCy tokenizer来tokenize英文句子。如果我们不特别声明tokenize这个参数，那么默认的分词方法是使用空格。
• 安装spaCy

  pip install -U spacy
  python -m spacy download en

• LABEL由LabelField定义。这是一种特别的用来处理label的Field。我们后面会解释dtype。
• 更多关于Fields，参见https://github.com/pytorch/text/blob/master/torchtext/data/field.py
• 和之前一样，我们会设定random seeds使实验可以复现。

• TorchText支持很多常见的自然语言处理数据集。
• 下面的代码会自动下载IMDb数据集，然后分成train/test两个torchtext.datasets类别。数据被前面的Fields处理。IMDb数据集一共有50000电影评论，每个评论都被标注为正面的或负面的。

 

 

先了解下Spacy库：spaCy介绍和使用教程
再了解下torchtext库：torchtext介绍和使用教程

import torch
from torchtext import data

SEED = 1234

torch.manual_seed(SEED) #为CPU设置随机种子
torch.cuda.manual_seed(SEED)#为GPU设置随机种子
torch.backends.cudnn.deterministic = True  #在程序刚开始加这条语句可以提升一点训练速度，没什么额外开销。

TEXT = data.Field(tokenize='spacy')#torchtext.data.Field : 用来定义字段的处理方法（文本字段，标签字段）
LABEL = data.LabelField(dtype=torch.float)
#首先，我们要创建两个Field 对象：这两个对象包含了我们打算如何预处理文本数据的信息。
#spaCy:英语分词器,类似于NLTK库，如果没有传递tokenize参数，则默认只是在空格上拆分字符串。
#LabelField是Field类的一个特殊子集，专门用于处理标签。 

from torchtext import datasets
train_data, test_data = datasets.IMDB.splits(TEXT, LABEL)import torch
from torchtext import data

SEED = 1234

torch.manual_seed(SEED) #为CPU设置随机种子
torch.cuda.manual_seed(SEED)#为GPU设置随机种子
torch.backends.cudnn.deterministic = True  #在程序刚开始加这条语句可以提升一点训练速度，没什么额外开销。

TEXT = data.Field(tokenize='spacy')#torchtext.data.Field : 用来定义字段的处理方法（文本字段，标签字段）
LABEL = data.LabelField(dtype=torch.float)
#首先，我们要创建两个Field 对象：这两个对象包含了我们打算如何预处理文本数据的信息。
#spaCy:英语分词器,类似于NLTK库，如果没有传递tokenize参数，则默认只是在空格上拆分字符串。
#LabelField是Field类的一个特殊子集，专门用于处理标签。 

from torchtext import datasets
train_data, test_data = datasets.IMDB.splits(TEXT, LABEL)

第二步：训练集划分为训练集和验证集

 

• 由于我们现在只有train/test这两个分类，所以我们需要创建一个新的validation set。我们可以使用.split()创建新的分类。
• 默认的数据分割是 70、30，如果我们声明split_ratio，可以改变split之间的比例，split_ratio=0.8表示80%的数据是训练集，20%是验证集。
• 我们还声明random_state这个参数，确保我们每次分割的数据集都是一样的。

  import random
  train_data, valid_data = train_data.split(random_state=random.seed(SEED)) #默认split_ratio=0.7
  

  第三步：用训练集建立vocabulary，就是把每个单词一一映射到一个数字。

   

  • 下一步我们需要创建 vocabulary 。vocabulary 就是把每个单词一一映射到一个数字。
  • 我们使用最常见的25k个单词来构建我们的单词表，用max_size这个参数可以做到这一点。
  • 所有其他的单词都用<unk>来表示。

# TEXT.build_vocab(train_data, max_size=25000)
# LABEL.build_vocab(train_data)
TEXT.build_vocab(train_data, max_size=25000, vectors="glove.6B.100d", unk_init=torch.Tensor.normal_)
#从预训练的词向量（vectors） 中，将当前(corpus语料库)词汇表的词向量抽取出来，构成当前 corpus 的 Vocab（词汇表）。
#预训练的 vectors 来自glove模型，每个单词有100维。glove模型训练的词向量参数来自很大的语料库，
#而我们的电影评论的语料库小一点，所以词向量需要更新，glove的词向量适合用做初始化参数。
LABEL.build_vocab(train_data) 

第四步：创建iterators，每个itartion都会返回一个batch的样本。

 

• 最后一步数据的准备是创建iterators。每个itartion都会返回一个batch的examples。
• 我们会使用BucketIterator。BucketIterator会把长度差不多的句子放到同一个batch中，确保每个batch中不出现太多的padding。
• 严格来说，我们这份notebook中的模型代码都有一个问题，也就是我们把<pad>也当做了模型的输入进行训练。更好的做法是在模型中把由<pad>产生的输出给消除掉。在这节课中我们简单处理，直接把<pad>也用作模型输入了。由于<pad>数量不多，模型的效果也不差。
• 如果我们有GPU，还可以指定每个iteration返回的tensor都在GPU上。

  BATCH_SIZE = 64
  
  device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  
  #相当于把样本划分batch，只是多做了一步，把相等长度的单词尽可能的划分到一个batch，不够长的就用padding。
  train_iterator, valid_iterator, test_iterator = data.BucketIterator.splits(
      (train_data, valid_data, test_data), 
      batch_size=BATCH_SIZE,
      device=device)
  
  next(iter(train_iterator)).label 
  next(iter(train_iterator)).text 
  next(iter(train_iterator))#多运行一次可以发现一条评论的单词长度会变
  

第五步：创建Word Averaging模型

Word Averaging模型

• 我们首先介绍一个简单的Word Averaging模型。这个模型非常简单，我们把每个单词都通过Embedding层投射成word embedding vector，然后把一句话中的所有word vector做个平均，就是整个句子的vector表示了。接下来把这个sentence vector传入一个Linear层，做分类即可。
• 我们使用avg_pool2d来做average pooling。我们的目标是把sentence length那个维度平均成1，然后保留embedding这个维度。
• avg_pool2d的kernel size是 (embedded.shape[1], 1)，所以句子长度的那个维度会被压扁。

• import torch.nn as nn
  import torch.nn.functional as F
  
  class WordAVGModel(nn.Module):
      def __init__(self, vocab_size, embedding_dim, output_dim, pad_idx):
          #初始化参数，
          super().__init__()
          self.embedding = nn.Embedding(vocab_size, embedding_dim, padding_idx=pad_idx)
          #vocab_size=词汇表长度，embedding_dim=每个单词的维度
          #padding_idx：如果提供的话，输出遇到此下标时用零填充。这里如果遇到padding的单词就用0填充。
          
          self.fc = nn.Linear(embedding_dim, output_dim)
          #output_dim输出的维度，一个数就可以了，=1
          
      def forward(self, text):
          embedded = self.embedding(text) 
          #text下面会指定，为一个batch的数据
          # embedded = [sent len, batch size, emb dim] 
          # sent len：一条评论的单词数 
          # batch size：一个batch有多少条评论
          # emb dim：一个单词的维度
          # 假设[sent len, batch size, emb dim]=（1000，64，100）
          #这个代码我猜测进行了运算：（text：1000，64，25000）*（self.embedding：1000，25000，100）= （1000，64，100）
          
          embedded = embedded.permute(1, 0, 2) 
          # [batch size, sent len, emb dim]更换顺序
          
          pooled = F.avg_pool2d(embedded, (embedded.shape[1], 1)).squeeze(1) 
          # [batch size, embedding_dim] 把单词长度的维度压扁为1，并降维
          
          return self.fc(pooled)  
          #（batch size, embedding_dim）*（embedding_dim, output_dim）=（batch size,output_dim）
  
  INPUT_DIM = len(TEXT.vocab) #25002
  EMBEDDING_DIM = 100
  OUTPUT_DIM = 1
  PAD_IDX = TEXT.vocab.stoi[TEXT.pad_token] 
  #PAD_IDX = 1 为pad的索引
  
  model = WordAVGModel(INPUT_DIM, EMBEDDING_DIM, OUTPUT_DIM, PAD_IDX)
  
  
  def count_parameters(model): #统计参数，可以不用管
      return sum(p.numel() for p in model.parameters() if p.requires_grad)
  
  print(f'The model has {count_parameters(model):,} trainable parameters')

  第六步：初始化参数

  pretrained_embeddings = TEXT.vocab.vectors 
  model.embedding.weight.data.copy_(pretrained_embeddings) #遇到_的语句直接替换，不需要另外赋值=
  #把上面vectors="glove.6B.100d"取出的词向量作为初始化参数，数量为25000*100个参数
  
  UNK_IDX = TEXT.vocab.stoi[TEXT.unk_token] #UNK_IDX=0
  
  model.embedding.weight.data[UNK_IDX] = torch.zeros(EMBEDDING_DIM)
  model.embedding.weight.data[PAD_IDX] = torch.zeros(EMBEDDING_DIM)
  #词汇表25002个单词，前两个unk和pad也需要初始化
  

  第七步：训练模型

• import torch.optim as optim
  
  optimizer = optim.Adam(model.parameters()) #定义优化器
  criterion = nn.BCEWithLogitsLoss()  #定义损失函数，这个BCEWithLogitsLoss特殊情况，二分类损失函数
  model = model.to(device) #送到gpu上去
  criterion = criterion.to(device) #送到gpu上去
  
  #计算预测的准确率
  def binary_accuracy(preds, y): #计算准确率
      """
      Returns accuracy per batch, i.e. if you get 8/10 right, this returns 0.8, NOT 8
      """
  
      #round predictions to the closest integer
      rounded_preds = torch.round(torch.sigmoid(preds))
      #.round函数：四舍五入
      
      correct = (rounded_preds == y).float() #convert into float for division 
      acc = correct.sum()/len(correct)
      return acc
  
  def train(model, iterator, optimizer, criterion):
      
      
      epoch_loss = 0
      epoch_acc = 0
      total_len = 0
      model.train() #model.train()代表了训练模式
      #这步一定要加，是为了区分model训练和测试的模式的。
      #有时候训练时会用到dropout、归一化等方法，但是测试的时候不能用dropout等方法。
      
      
      
      for batch in iterator: #iterator为train_iterator
          optimizer.zero_grad() #加这步防止梯度叠加
          
          predictions = model(batch.text).squeeze(1)
          #batch.text 就是上面forward函数的参数text
          #压缩维度，不然跟batch.label维度对不上
          
          loss = criterion(predictions, batch.label)
          acc = binary_accuracy(predictions, batch.label)
          
          
          loss.backward() #反向传播
          optimizer.step() #梯度下降
          
          epoch_loss += loss.item() * len(batch.label)
          #loss.item()已经本身除以了len(batch.label)
          #所以得再乘一次，得到一个batch的损失，累加得到所有样本损失。
          
          epoch_acc += acc.item() * len(batch.label)
          #（acc.item()：一个batch的正确率） *batch数 = 正确数
          #train_iterator所有batch的正确数累加。
          
          total_len += len(batch.label)
          #计算train_iterator所有样本的数量，不出意外应该是17500
          
      return epoch_loss / total_len, epoch_acc / total_len
      #epoch_loss / total_len ：train_iterator所有batch的损失
      #epoch_acc / total_len ：train_iterator所有batch的正确率
  
  
  
  def evaluate(model, iterator, criterion):
       
      
      epoch_loss = 0
      epoch_acc = 0
      total_len = 0
      
      model.eval()
      #转换成测试模式，冻结dropout层或其他层。
      
      with torch.no_grad():
          for batch in iterator: 
              #iterator为valid_iterator
              
              #没有反向传播和梯度下降
              predictions = model(batch.text).squeeze(1)
              loss = criterion(predictions, batch.label)
              acc = binary_accuracy(predictions, batch.label)
              
              
              epoch_loss += loss.item() * len(batch.label)
              epoch_acc += acc.item() * len(batch.label)
              total_len += len(batch.label)
      model.train() #调回训练模式   
      
      return epoch_loss / total_len, epoch_acc / total_len
  
  
  import time 
  
  def epoch_time(start_time, end_time):  #查看每个epoch的时间
      elapsed_time = end_time - start_time
      elapsed_mins = int(elapsed_time / 60)
      elapsed_secs = int(elapsed_time - (elapsed_mins * 60))
      return elapsed_mins, elapsed_secs
  

  第八步：查看模型运行结果

• N_EPOCHS = 10
  
  best_valid_loss = float('inf') #无穷大
  
  for epoch in range(N_EPOCHS):
  
      start_time = time.time()
      
      train_loss, train_acc = train(model, train_iterator, optimizer, criterion)
      valid_loss, valid_acc = evaluate(model, valid_iterator, criterion)
      
      end_time = time.time()
  
      epoch_mins, epoch_secs = epoch_time(start_time, end_time)
      
      if valid_loss < best_valid_loss: #只要模型效果变好，就存模型
          best_valid_loss = valid_loss
          torch.save(model.state_dict(), 'wordavg-model.pt')
      
      print(f'Epoch: {epoch+1:02} | Epoch Time: {epoch_mins}m {epoch_secs}s')
      print(f'	Train Loss: {train_loss:.3f} | Train Acc: {train_acc*100:.2f}%')
      print(f'	 Val. Loss: {valid_loss:.3f} |  Val. Acc: {valid_acc*100:.2f}%')
  

  第九步：预测结果

• model.load_state_dict(torch.load("wordavg-model.pt"))
  #用保存的模型参数预测数据
  
  import spacy  #分词工具，跟NLTK类似
  nlp = spacy.load('en')
  
  def predict_sentiment(sentence):
      tokenized = [tok.text for tok in nlp.tokenizer(sentence)]#分词
      indexed = [TEXT.vocab.stoi[t] for t in tokenized] 
      #sentence的索引
      
      tensor = torch.LongTensor(indexed).to(device) #seq_len
      tensor = tensor.unsqueeze(1) 
      #seq_len * batch_size（1）
      
      prediction = torch.sigmoid(model(tensor))
      #tensor与text一样的tensor
      
      return prediction.item()