zoukankan      html  css  js  c++  java
  • 论文阅读 | Target-Guided Open-Domain Conversation

    论文地址 :https://www.aclweb.org/anthology/P19-1565/

    作者 : Jianheng Tang, Tiancheng Zhao, Chenyan Xiong, Xiaodan Liang, Eric Xing, Zhiting Hu

    机构 : 中山大学,CMU,微软,Petuum

    研究的问题:

    关注的是在开放域的聊天中目标引导的问题,就是让对话系统将对话引导到目标主题上。如下图所示:

     

    机器人将对话一步步地向e-book引导。

    本文提出的是一种多模块的方法,在不同的粒度下解决问题。具体地说,模型包括一个对话轮次级别(turn-level)的迁移预测器,来解决平稳迁移的问题;一个话语级别(discourse-level)的目标导向策略,来接近对话的目标;一个回复检索器,来生成合适的对话回复。

    研究方法:

    任务定义:对话从任意一个主题开始,最终被引导到目标主题上。这里主题被限定为一个词,用t来表示。这里只有对话系统获得这个目标主题,人类是不知道的。当人类的回复中出现了目标词语或者类似的词语时,就认为成功了。

    所以任务目标包括两个方面:生成流畅、平滑的过渡回复;将对话朝目标方向引导。由于缺乏合适的数据集,所以将任务拆解为这两个子问题来解决。

    方案:模型的整体框架如下图所示:

     

    如上述提到,包括三个部分,下面分别介绍。

    (1)对话轮次级别(turn-level)的迁移预测器

    这部分的目标是在给定对话历史语句的情况下,预测下一个关键词。这部分不涉及最终目标,和传统的闲聊型系统一致。这里提出了三种方法。

    基于PMI的方法:基于统计的方法,两个单词之间的PMI分数由下面得到:

     

    由当前的关键词根据PMI分数选择分数最高的作为下一个关键词。

    基于神经模型的方法:以端到端的方式预测下一个关键词。

    基于核的方法:给定当前关键词和一个候选的关键字,首先计算它们词向量之间的余弦相似度,将它输入到K个RBF核的内核层中,将这个K维的结果输入到一个全连接层中,输出的分数作为两个词之间的得分。实验发现这种方法的效果最好。

    (2)话语级别(discourse-level)的目标导向策略

    通过限定关键词来实现的,具体地是将两个词的词向量之间的余弦值作为两个词关系的度量。在每轮预测下一个关键词时,首先根据这个策略选择一组有效的关键词,然后再由(1)中的方法选择最终的一个词。

    (3)回复检索器

    通过检索的方式生成最终的回复。具体是用 RNN 来编码对话历史和关键词,以及训练集中的候选回复语句。然后计算候选语句和对话历史的点乘,候选语句和关键词的点乘;这两个结果进行连接后再传给一个全连接网络和 sigmoid 函数,得到候选语句的匹配得分。

     

    实验部分:

    数据集:主要基于PersonaChat数据集,通过tfidf和一些语音特征来提取关键词。

    评估指标使用检索式系统中常用的R_n@k和P@1,另外使用Cor.来评估关键词提取的效果,它表示两个关键词的相似性。

    首先是比较三种关键词生成方案的效果如下:

     

    核方法取得了最好的效果。

    对于整体的实验,评估包括一个机器人之间的对话和人类评估两个方面。使用WordNet来识别同义词,如果相似性得分大于.9就视为达到目标。对话轮数限定为8轮,8轮内没有达到目标就算失败。实验结果如下:

     

    评价:

    本文提出了对话系统上的一个新的任务,也就是闲聊型对话系统和任务型对话系统的一种结合。研究的方法和思路比较值得借鉴,由于在该任务上缺少数据,所以将任务拆解为两个子目标,每个子目标可以通过有监督的模型或规则来实现。不过在模型方面,方法比较粗糙,仅通过关键词相似性的检索来引导对话方向。

  • 相关阅读:
    建议博客园搭个威客平台,可行的发展方向和盈利方向
    SQLServer DBA 三十问(第11~20题)
    sqlserver2000中nvarchar保存韩文乱码问题解决
    beginning Linux programming读书笔记(2)之shell编程
    IBM打狗问题
    Perl入门笔记2之第二章 标量数据
    linux面试大全
    结构体对齐详解
    Linux下静态链接库与动态链接库的区别
    Perl入门 笔记1之第一章简介
  • 原文地址:https://www.cnblogs.com/bernieloveslife/p/12749055.html
Copyright © 2011-2022 走看看