一个观点：在所属领域内重新对bert模型做预训练后，对于下游任务性能必定会带来提升。
实验：观察在下游ner任务中的loss变化情况
1）原始bert
全局评估：{'acc': 0.7899749373433584, 'recall': 0.7831704488984595, 'f1': 0.7865579770420896}
2）再次预训练bert
全局评估：{'acc': 0.7769423558897243, 'recall': 0.770250124233891, 'f1': 0.7735817667609381}
结论：经过预训练过后的loss变化是否更好，更平滑？ 但是指标都降了一个点啊，因该是我的预训练太少导致（50w，15G），记下来扩充数据继续看效果
未完，，，