1、介绍
1.0.1、自然语言对话的传统方案:
基于规则or基于学习;
缺点:人工构建规则或者模型,在小数据上运行,不好迁移
1.0.2、STC:Short-Text Conversation——只考虑一轮对话
STC解决方案:
基于检索or基于SMT(statistical machine translation)
检索方案:通过对候选中的匹配特征进行线性或者非线性组合,然后排序;
缺点:候选是已有的,不能定制化;匹配特征不足以区分好的响应和坏的响应
SMT:当做机器翻译,问答没有语义上的同义关系,建模方式不合适
1.1、概述
本文贡献:
1)提出Encoder-Decoder方法;
2)优于传统方案
1.2、本文路径图
2、STC数据集
2.1、微博对话数据
2.2、数据描述
数据清洗
数据特点:post-response语义差别;一个post有平均20个response
3、NRM for STC
结构
3.1、Decoder计算
类似SMT AM的结构设计,选用GRU作为单元
3.2、Encoder计算
3.2.1、Global Scheme:全部信息编入一个vector,缺点:信息丢失,尤其是vector维度比较低的时候
3.2.2、Local Scheme:
3.3、扩展:混合Global and Local
混合的时候,ht的值在Global和Local含义不一致,因此,分开训练,然后fine-tune
4、实验
4.1、实现细节
4.2、比较模型
4.2.1、基于检索方式:生成特征,用rankSVM模型计算权重
4.2.2、基于SMT
5、结果和分析
SMT的BLUE不合适;统计语言模型的复杂度也不合适
使用人工指标
5.1、评估指标
合适、自然、不合适
评估依据:语法和流畅;逻辑一致;语义相关;依赖场景;概括性
5.2、结果
5.3、Case Study
NRM不同方法,结果不同:结果问题;初始化参数问题
NRM-hyb可以给出不同的合适的答案
疑问:NRM-glo方法和SMT方法差异在哪里
如果发现文中有问题,敬请联系作者批评指正,真诚欢迎您的指教,谢谢!
微信: legelsr0808
邮箱: legelsr0808@163.com