何为自然语言处理
自然语言处理的目标是让计算机处理或者“理解”自然语言，以完成有意义的任务，如QA等。
自然语言处理涉及的层次
-
输入有两个来源：语音和文本，所以第一级是语音识别，OCR或者分词
-
形态学（Morphological analysis）或称词法或者词汇形态学。其研究词的内部结构，包括屈折变化和构词法两个部分。
-
句法分析（Syntactic analysis）和语义分析（Semantic Interpretation）
-
对话分析（Discourse Processing），根据上文语境理解下文
其中，CS223n关注画圈部分的三个部分（语音，句法分析和语义分析）
自然语言处理应用
从易到难大致有：
-
拼写检查，关键词检索...
-
文本挖掘（产品价格，日期，时间，地点，人名...）
-
文本分类
-
机器翻译
-
客服系统
-
复杂对话系统
人类语言的特殊之处
人类语言是离散的，明确的符号系统，但允许出现各种变种。符号传输到大脑的过程是通过连续的声光学信号，大脑编码似乎是连续的模式。另外，巨大的词表也导致了数据稀疏，不利于机器学习。因此，是否应该使用连续的信号而非离散的符号处理语言?
什么是深度学习
机器学习的子集，实际上是将特征工程+学习算法合二为一。深度学习是表示学习的一部分，用来学习原始输入的多层特征表示：
传统的机器学习手工特征耗时耗力，不易扩展，而深度学习自有编解码器，自动特征学习快，方便扩展。传统的机器学习示意如下：
为何NLP困难
人类语言充满歧义，解读依赖现实世界常识以及上下文。
Deep NLP=Deep Learning + NLP
将自然语言处理的思想和表示学习结合，用深度学习的手法解决NLP目标，这推进了不少方面的发展，如词性标注,命名实体识别,句法/语义分析
NLP表示层次：形态级别
传统方法在形态级别的表示是词素，如将uninterested拆分成前缀，词根，后缀三个部分：
深度学习中把词素也作为向量：
多个词素向量构成相同维度语义更丰富的词向量。
NLP工具：句法分析
NLP语义层面的表示
传统方法是手写大量的规则函数，也就是λ演算(Lambda calculus):
在深度学习中，每个句子，短语和逻辑表达都是向量。神经网络负责将它们合并。
情感分析
传统方法是请人手工搜集“情感极性词典”，在词袋模型上做分类器。
深度学习使用了RNN来解决该问题，它可以识别“反话”的情感极性：
QA
传统方法是手工编写大量的规则逻辑，比如正则表达式之类：
深度学习依旧使用了类似的学习框架，将事实存储在向量中：
客服系统
Neural Language Models是基于RNN的：
机器翻译
传统方法在众多层面做了尝试，如词语，语法，语法。这类方法试图找到一种世界通用的“国际语”作为原文和译文的桥梁。
而Neural Machine Translation将原文映射为向量，由向量构建原文，所有层级的表示都是向量：
这也许是因为向量是最灵活的形式，它的维度是自由的，还可以组成矩阵或者更高维度的Tensor，事实上，在实践时，向量和矩阵没有本质区别。