SpanBERT: Improving Pre-training by Representing and Predicting Spans
解读SpanBERT:《Improving Pre-training by Representing and Predicting Spans》
改进版BERT——SpanBERT，通过表示和预测分词提升预训练效果！
中文预训练BERT-wwm（Pre-Trained Chinese BERT with Whole Word Masking）
引入了新的目标函数，span-boundary objective (SBO)。把一个句子里的一部分span进行mask，然后用mask token旁边的token来预测masked span里的每一个token。在QA，conreference resolution, RE三个任务的数据集上实现了SOTA。 使用了外部KG，而且用了BERT large。
Facebook推出RoBERTa新模型，碾压XLNet 制霸三大排行榜
哈工大讯飞联合实验室发布中文BERT-wwm-ext预训练模型
重回榜首的BERT改进版开源了，千块V100、160GB纯文本的大模型