1、词集模型
将每个词的出现与否作为一个特征，不考虑词频。也就是一个词在文本在文本中出现1次和多次特征处理是一样的。
2、词袋模型
与词集相比，会考虑词频
sklearn中 CountVectorizer与
CountVectorizer: 会以每一个词作为特征，求出每一个词的词频
http://www.cnblogs.com/pinard/p/6688348.html
3、hash feature
特征哈希是一种降维的方法，因为由于词袋模型产生的向量维度很大，而特征哈希就是对每一个特征进行hash以进行降维
具体参考https://www.cnblogs.com/pinard/p/6688348.html
TF-IDF
vacabulary的作用：
1、原理
2、应用
估计一个词在一篇文章的重要程度。 主题分类
与余弦定理一样，可以判断两篇文章的相似度
3、不足
仅考虑词频，没考虑单词之间的位置信息
word2vec 词向量
1、onehot 稀疏向量
定义：维数为 所有单词的个数 N，如果该单词存在表示为1，其余位置为0
缺点：1、如果单词过多，会引起维度灾难
2、无法体现近义词之间关系
2、密集向量
定义：基本思路是通过训练将每个词映射成一个固定长度的短向量，所有这些向量就构成一个词向量空间，每一个向量可视为该空间上的一个点