给定title和keywords利用gpt2生成文本

一.关于gpt2的理论网上有很多资料(推荐https://jalammar.github.io/illustrated-gpt2/)，它源自transformer-decoder部分，话不多説。

下图是transformer、gpt以及gpt2的简要结构图，可以从中简单看出其中不同的部分：

　　和transformer-decode(transformer右侧)r比，gpt和gpt2都少了一个multi-head attention模块。另外gpt2将layer norm提到了masked multi-attention和feed forward的前面；并且在最后一个transformer-decoder后接了一个layer norm。像gpt这种自回归模型，由于用到masked self-attention，它只能看到上文，不能看到下文(而没有masked的self-attention能看到上下文)，且每次预测出的token加入原序列中继续预测下一个，符合文本生成。

二.这里输入title和keywords到gpt2中进行相关文本生成，如下图：

model的输入是:[BOS] + title + [SEP] + keywords + [SEP] + text + [EOS]

三.程序见(https://github.com/jiangnanboy/text_generation)

def load_pretrained_mode(tokenizer, pretrained_model_path, special_token_path=None):
    '''
    加载 pretrained model
    :param tokenizer:
    :param pretrained_model_path:
    :param special_token_path:
    :return:
    '''
    print("pretrained model loadding...")
    gpt2Config = GPT2Config.from_pretrained(pretrained_model_path,
                                            bos_token_id=tokenizer.bos_token,
                                            eos__token_id=tokenizer.eos_token,
                                            sep_token_id=tokenizer.sep_token,
                                            pad_token_id=tokenizer.pad_token,
                                            output_hidden_states=False)
    model = GPT2LMHeadModel.from_pretrained(pretrained_model_path, config=gpt2Config)

    if special_token_path:
        # 添加special token,model embedding size需要作调整
        model.resize_token_embeddings(len(tokenizer))

    # 冻结所有层
    for param in model.parameters():
        param.requires_grad = False

    # 1.只训练最后6个block
    '''
    for i, m in enumerate(model.transformer.h):
        if (i + 1) > 6:
            for param in m.parameters():
                param.requires_grad=True
    '''
    # 2.或者只训练最后的一层
    for param in model.lm_head.parameters():
        param.requires_grad=True


    return model.to(DEVICE)