目的：把文本用数据的形式表达出来
方法：传统基于规则，现代基于统计
一、词编码方式1——离散表示
1、One-hot编码
和句子中顺序无关，耗空间耗时
2、词袋模型
每个数表示该词出现的次数（One-hot的加和）
3、TF_IDF
每个数代表该词在整个文档中的占比
4、N-gram
相邻N个词作为一组进行编码，缺点是浪费空间、无法衡量词之间的关系
二、词编码方式2——分布式表示
所谓分布式表示，就是将“红色小型汽车”变成“红色+小型+汽车”
于是产生了现代统计自然语言处理中最有创见的想法之一：用一个词附近的其他词来表示该词。
一开始用“共现矩阵”表示，后来发现它有耗空间过大、稀疏等问题，因此需要找到方法构造低维稠密向量作为词的分布式表示 (25~1000维)!
一开始有用SVD分解的方法，后来发现它与其他深度学习模型框架差异大
又有了NNLM方法如下图所示：（七月算法自然语言处理课程PPT）
这个模型复杂度较高。于是有了现在最常用的word2vec模型。
三、Work2Vec
1、CBOW
待续
2、Skip-Gram
待续
当语料特别大时，多用Skip-Gram
-》Word2Vec对多义词表示的并不好，因此有了改进版本GloVe，但用的不多。
-》还有sense2vec模型，它是将词性和word2vec结合的技术。
-》seq2seq 待续