zoukankan      html  css  js  c++  java
  • Parallel Data Augmentation for Formality Style Transfer 阅读

    发表在 ACL 2020

    属于文本迁移中的半监督方法

    动机

    现有的平行语料很少,而神经网络含有大量参数需要训练学习,这时需要更多的平行语料提供更多有用的信息,因此,作者针对 formal 风格迁移任务提出了三种数据增强方法,来获得更多有用的句子对

    方法

    1. Back Translation

      机器翻译中很常见的一种方数据增强方法,将目标语言使用训练好的翻译模型翻译成原语言,构成伪句子对

      先用已有的平行语料(informal--formal)训练一个 seq2seq 模型,然后将目标语句中 formal 的语句喂给这个 seq2seq 模型,生成 informal 句子,形成伪句子对 informal—formal,来扩充平行语料

    2. Formality discrimination

      先将 informal 英语句子翻译成另一种语言(如法语),然后将翻译回英语

      使用带 formal 标签的语料训练一个 CNN 来给句子打分,如果大于阈值,则被选为 伪平行语料

    3. multi-task transfer

      使用其它任务中带注释的句子对,观察到 inform l的句子通常语法是错误的,而 formal 的句子语法是对的,因此可以将 GEC(Grammatical error correction) 模型所用到的训练数据集直接扩充到现有的平行语料

    模型

    使用 transformer(base)作为 seq2seq 模型

    训练方法:使用增强的数据进行预训练,再用现有的平行语料进行微调

    实验

    文章在实验方面做的还是比较充分的,对影响结果的因素都做了定性分析,但感觉缺少对选择 transformer 模型的对比分析

  • 相关阅读:
    spring子模块----->Spring Security------->相关教程(参考资料)
    Maven--->学习心得--->maven 概述
    Spring和Spring MVC 、Spring Security的关系
    leapMotion简介
    软件工程需求分析
    大型web网站-----系统架构
    Maven的安装与配置
    A Java Exception occured 解决
    mysql-5.7.20安装和配置
    线段树 poj 3667
  • 原文地址:https://www.cnblogs.com/alivinfer/p/13686990.html
Copyright © 2011-2022 走看看