题目:
《Generating Question-Answer Hierarchies》
作者:
Kalpesh Krishna & Mohit Iyyer
What:
1.SQUASH(specificity-controlled Question-Answer Hierarchies)
2.将输入文本转化成为具有一般、具体标签的层级问答对(自上而下的树形结构),用户可以点击一般问题进而展开得到具体的问题。
3.用于解决SQUASH的流水线系统以及用于评估它的众包方法
HOW:
1.问题分类:将问题分为三个粗糙的标签:GENERAL、SPECIFIC、YES-NO,根据问题的特殊性对SQuAD、QuAC和CoQA 中的问题进行分类。不满足任何模板或规则的问题,手动标注1000条数据用CNN分类,最终将所有问题都运行了基于规则的方法,并将分类器应用于规则未涵盖的问题。
2.生成QA对
将段落中的每个句子作为潜在的答案范围,以及所有实体和数字(作为具体问题的答案)
手动删除一些笼统的问题
使用两层的biL-STM编码器和单层的LSTM解码器来生成问题,将解码器的特殊性级别设置为“一般”,“具体”和“是-否”。每个答案范围生成十三个候选问题。
3.生成有层次的QA对
为每一个具体问题泛化一个父问题,使每个一般问题的预测答案与预测答案的重叠(词级精度)最大化。如果没有与特定问题的答案重叠的一般问题的答案,将其映射到最接近的一般问题(要求其答案在特定问题的答案之前)。
4.模型评估
生成问题评估:使用众包实验在QuAC开发集的文档上评估了SQUASH流程
结构正确性评估
5.缺点:
数据集存在缺陷、信息冗余、缺乏常识性知识、对于一个段落生成了多个QA对
阅读过程中产生的疑问:
-
为什么使用top-10抽样方法?
-
问题是如何生成的?
-
为什么要以每个段落为一个范围进行问题的生成?若是用很多段论述同一个问题要如何解决?