zoukankan      html  css  js  c++  java
  • 领域数据下重新预训练模型和原始bert性能分析

    一个观点:在所属领域内重新对bert模型做预训练后,对于下游任务性能必定会带来提升。

    实验:观察在下游ner任务中的loss变化情况

    1)原始bert

    全局评估:{'acc': 0.7899749373433584, 'recall': 0.7831704488984595, 'f1': 0.7865579770420896} 

     2)再次预训练bert

     全局评估:{'acc': 0.7769423558897243, 'recall': 0.770250124233891, 'f1': 0.7735817667609381}

    结论:经过预训练过后的loss变化是否更好,更平滑? 但是指标都降了一个点啊,因该是我的预训练太少导致(50w,15G),记下来扩充数据继续看效果

    未完,,,

    时刻记着自己要成为什么样的人!
  • 相关阅读:
    编写SASS代码
    表单
    动画和变形
    图片多媒体
    基本概念
    弹性布局
    HTML和CSS概述
    页面的制作过程
    盒子定位体系
    css盒子
  • 原文地址:https://www.cnblogs.com/demo-deng/p/14918578.html
Copyright © 2011-2022 走看看