Yuan-1.0论文笔记
模型架构
LM
transformers的decoder，生成类任务效果较好，理解类效果较差，原因在于生成的token只依赖之前的单词，会对后面进行结构掩蔽
PLM
生成一个可见的注意力掩蔽，所以在NLG和NLU任务表现都很好
并行策略
张量并行
在张量并行算法中，模型的层次在节点内的设备之间进行划分。张量并行度的原理如图2所示。在Transformer中，注意和多层感知器(MLP)的张量在向前和向后计算时按行或列分割。输入张量被广播到每个加速器，进行正向传播。当Attention或MLP的前向传递完成时，执行全减少。然后在所有设备上更新结果并发送到下一层。在每一层的前向和后向传播中有四个全约简操作。
一句话概括就是把张量分配到多个设备上去算
流水线并行
数据并行
增加了全局批处理
下游任务
Text Classfication
Eprstmt: 情感分类，二分类问题
Tnews, Iflytek and Csldcp：多分类问题
标签在文档末尾，连接提示词
Winograd Schema task
一个确定代词指代哪个名词的歧义任务，本质上还是二分类问题
Natural Language Inference
Ocnli和Bustm数据集，判断两个句子，前者是不是后者的前提，后者是不是前者的假设
交叉熵损失
Reading Comprehension
Chid数据集：中文习语，挖空填词
Csl数据集:一个摘要和四个关键词，判断关键词是否都和摘要一致，可以看作二分类问题
交叉熵损失
Gereration tasks
CMRC2018:根据问题去文档中提取含有答案的相关句子
WebQA：单纯QA
EM和F1是评测指标