最近在研究问答系统,但是在查找资料的过程中一直处于懵逼状态,因为问答系统分类比较多,根据不同的依据可以分为不同种类,总是搞混,也没有找到资料详细全面的介绍,所以在一边学习查找资料的同时,自己也整理出一份总结,用于以后学习过程不至于思路混乱,如有错误请帮忙指出.
19世纪60年代最早:基于模板和规则
19世纪90年代:基于检索(IR)匹配-从问题中提取关键词,根据关键词在文本库中搜索相关文档,并进行降序排序,然后从文档中提取答案.
主要模型有:
单轮:DSSM,CLSM
多轮:Multi-Viem,DAM(state-of-art),Memory-Network
2010年,知识图谱(结构化文本),基于知识库(KB-QA)-对问题进行解析,根据解析内容从知识库中推理出答案.
基于知识库的三大传统方法:语义解析,信息提取,向量建模.
1. 语义解析:
2. 信息提取:用实体命名技术获取到问题中的实体,然后在知识库中进行查询,得到关于问题实体的中心子图,子图的边和结点就是候选答案的集合.进一步,可以通过分析,规则模板提取除特征,将问题和答案的特征结合送入二分类器中,将答案分为正确答案和错误答案进行建模.
3. 向量建模:获取问题和答案的表示向量,然后做点乘求得分.
其他:Memory-Network也可用于KB-QA
基于阅读理解的问答(MRC机器阅读理解):适用数据类型为-(给定一个问题 Q 和一个与 Q 相关的文档 D，自动得到 Q 对应的答案 A)非结构化文本,主要的方法有匹配式,抽取式和生成式
1.匹配式:给出文章,问题和答案集,从答案集中选出最高得分的答案,像选择题.
1)LSTM-reader(最简单的方法):把文档d和问题q合并建模后,喂到双向LSTM中,得到向量g
2)Attentive-reader:先使用LSTM对问题建模得到向量q,再对文档建模,然后用q对文档使用attention匹配得到向量r,结合q和r,相当于带着问题读文档.
3)Impatient-reader:同上,只不过是对每个token去计算attention,相当于先读每个字或者词,然后带着字或者词去读文档.
4)Gated-Attention Reader：相当于带着一个问题，反复读文档，读k遍。
2.抽取式:顾名思义就是从文档中抽取出答案,前提是文档中包括问题答案.
这样的数据集有:斯坦福的SQuAD数据集,难度比较高的 TriviaQA数据集.
抽取式的一般框架是,Embedder+Encoder+Interaction-layer+Answer
Embedder:将输入embedding
Encoder:分别对问题和文档用LSTM建模(也可以用其他方法)
Interaction-layer:使用attention将问题和文档结合起来,对问题和文档进行交互,得到query-aware的文章表示.(个模型只要差别所在)
Answer:对上面得到的query-aware文章表示进行抽取答案,通常有两种方法:一是使用两个模型分别预测出答案的起始和终止位置.二是把当然当成label序列(序列标注),预测出label.
抽取式主要模型有:
1).Match-LSTM:比较基础的模型,结构如下图(没看懂@_@),Machine Comprehension Using Match-LSTM and Answer Pointer
模型结构:
原理:
2).BiDAF:比较出名的模型,论文地址:Bidirectional Attention Flow for Machine Comprehension
模型结构:
原理:
3).R-Net:近似state-of-art的模型,论文地址:没找到--.
4).FastQAExt(轻量级),FastQA: A Simple and Efficient Neural Architecture for Question Answering
5).GA-Reader,论文地址:Gated-Attention Readers for Text Comprehension
6).QA-Net(使用CNN),论文地址:QANET: COMBINING LOCAL CONVOLUTION WITH GLOBAL SELF-ATTENTION FOR READING COMPREHENSION
3.生成式:目前只有MSRA的MS MARCO数据集，答案形式是这样的：1）答案完全在某篇原文.2）答案分别出现在多篇文章中.3答案一部分出现在原文，一部分出现在问题中.4）答案的一部分出现在原文，另一部分是生成的新词.5）答案完全不在原文出现（Yes / No 类型)
常见模型:
1).改进R-Net
2).S-Net,论文地址:S-NET: FROM ANSWER EXTRACTION TO ANSWER GENERATION FOR MACHINE READING COMPREHENSION
3).R3-Net:集文档检索与答案生成于一身的模型,论文地址:R 3 : Reinforced Ranker-Reader for Open-Domain Question Answering
其他知识:
1.transE模型:知识表示模型,最后训练出来的向量e符合如下规则:e(object)=e(subject)+e(relation),损失函数是最小正例距离最大负样本距离
2.IRGAN模型:检索
3.OpenIE:关系抽取工具
4.实体/关系链接:将OpenIE抽取的关系链接到知识库
5.检查关系是否正确,使用transE模型的思想e(object)和e(relation)+e(subject)的余弦距离小于阀值
6.pointer network
参考文章:
https://www.zhihu.com/people/susht/posts 一份问答系统的小结
https://zhuanlan.zhihu.com/p/41217854 基于深度神经网络的自动问答系统概述
https://github.com/dapurv5/awesome-question-answering 领域经典论文，项目及数据集