zoukankan      html  css  js  c++  java
  • 清华大学刘洋--基于深度学习的机器翻译(2)--- 受限词汇量/先验约束/训练准则

    受限词汇量:我们不能把全部的所有词汇都汇总起来,这个集合太大了。我们只能选一些。

    受计算复杂度的限制,仅能使用有限的词汇量。

    这里有几种方法:

    1. 未登录词替换 unknown key replace :在后处理阶段,单独翻译未登录词
    2. 基于字母的模型。用更细粒度单元降低词汇量。
    3. 子词:BPE 合并高频字符串对实现子词切分。
    4. 相似词替换:用相似词代替未登录词进行训练

    ——————————————————————————————————————————————————————————————

    先验约束是什么呢?

    神经网络是数据驱动的,先验知识即数据以外的知识。

    1. 先验约束

    覆盖率的约束:不应该重复翻译,也不能漏翻

    注意力机制中的结构化约束,从神经网络自身进行约束,对函数约束

    一致性训练:翻译的正向和反向的结果大致是一致的,具有互补性。

    ________________________________________________________________________________________________________________________________________________________________________

    对于神经网络而言,极大似然估计越大越好。

    exposure bias问题:

    即在观测数据中,生成每一个目标词之前的所有词都是正确的。

    而模型预测的生成词不能保证之前的每一个词是正确的。

    ————————————————————————

    词级损失函数:

    极大似然估计,只对每一个词,使用损失函数。它并不会考虑语序等

    --------------

    最小风险训练

    柱搜索优化

    MIXER: 利用增强学习针对评价指标优化模型。

  • 相关阅读:
    vcruntime140.dll 14.0与PHP版本不兼容,PHP Warning: 'vcruntime140.dll' 14.0 is not compatible with this PHP build linked with 14.16 in Unknown on line 0
    PHP处理字符中的emoji表情
    Thinkphp5 使用unlink删除文件出错Permission denied
    TP5多字段排序
    TP5 按照汉字的拼音排序
    PHP发送微信模版消息
    [52ABP系列]
    [52ABP系列]
    通过微信公众号实现微信快捷登陆
    [Jexus系列] 一、安装并运行 Jexus
  • 原文地址:https://www.cnblogs.com/vector11248/p/10382210.html
Copyright © 2011-2022 走看看