学习笔记（37）- CrossWOZ和ConvLab2

本文仅供学习使用

CrossWOZ清华大学CoAI实验室做的任务型中文跨域对话系统数据集，模拟北京游客进行酒店、景点、餐馆、地铁、出租车共5个领域进行对话。
文中详细介绍了多轮对话的NLU、DST、Policy、NLG各个模块。
提供了基准实验，基于ConvLab2和基于规则。

作者解读了自己的论文。

CrossWOZ

大规模中文多域任务型对话数据集

human-to-human dialogue

旅游信息Hotel、Attraction、Restaurant；Metro从旅游信息抽取；Taxi对接API

slot是人工设定的。景点的门票、开放时间；餐馆的菜单等；

NLG: BLUE高不代表生成效果好。

1. 采集数据。
2. 生成目标。Domain、Slot、Value。随机采样，定义约束。
3. 收集对话。构建网站，聘请人工，上下文依赖的对话，保证一致性。
4. 对话标注

语料统计

基准

ConvLab-2

PyDial：关注对话策略的强化学习
ParlAI：支持多种任务：阅读理解、QA。需要自己写模块化的代码
ConvLab：模块层次的评估。不是用户模拟器的交互评估，不是机器跟机器的完整对话。corpus表现好，不代表真实表现好。
Rasa和Plato：用于生产环境，工程师快速搭建对话系统。例如公众号，查天气。脱离研究。