python自然语言处理——1.5 自动理解自然语言

微信公众号：数据运营人
本系列为博主的读书学习笔记，如需转载请注明出处。

第一章 语言处理与python

1.5 自动理解自然语言词意消歧指代消解自动生成语言机器翻译人机对话系统文本的含义

1.5 自动理解自然语言

词意消歧

大家都应该知道，无论是汉语，英语甚至其他语言，每一个词语都有不同的含义，所谓的词意消歧就是通过文章的上下文来确定该词语在该文中所表达的含义。

指代消解

指代消解作为信息抽取领域的一个热点技术，从广义上看就是在文章中确定代词纸箱那个名词短语的问题。按照指向一般分为回指和预指，回指就是代词的先行词在代词的前面；预指指代词的先行词子啊代词的后面。一般包含人称代词，指示代词普通名词短语等。

自动生成语言

随着近年来文本数据的指数级增长和AI技术的不断发展，一些大型的公司通过收集的文本进行建模学习，实现了自动生成语言的技术，如腾讯的新闻写作机器人，自动生成股评等。

腾讯写作机器人

机器翻译

长久以来，机器翻译（ MT）都是语言理解的圣杯，人们希望能找到从根本上提供高品质的符合语言习惯的任意两种语言之间的翻译。虽然目前的机器翻译技术得到了很大的提升，但因为每一个词语都有很多的含义，以及机器对上下文的衔接存在瑕疵，还有待去提高。

谷歌翻译

人机对话系统

我们所能看到的最基础一些人机系统有淘宝京东客服等，通过一些关键词与进行沟通对话。而语音的人机对话系统会稍微复杂，其中最为核心的技术是语音识别成文字（ASR）/语言理解（NPU）/文字合成为语音（TTS）

人机对话系统框架

文本的含义

近年来，一个叫做文本含义识别（Recognizing Textual Entailment,简称RTE）的“公开共享任务”成为语言理解所关注的焦点，和我们平常的语言理解不同，类似于公务员考试中的推理题。
如：
（1）如果有人是一本书的作者，那么他写了这本书；
（2）如果有人是一本书的编辑，那么他没有写这本书；
（3）如果有人是18本书的编辑或作者，责无法断定他是18本书的作者。