当我们分析图片或者语音的时候，通常都是在密集高纬度数据。我们所需的全部信息都储存在原始数据中。
当我们做自然语言处理的时候，我们通常会分词，然后给每一个词一个编号，比如猫的编号是120，狗的编号是343。比如女生的编号是2329.这些编号没有规律，没有联系，我们从编号中不能得到词语词的相关性。
例如：How are you？
How : 234
Are : 7 you : 987
如果转化为one-hot：
000…1000000…
00000001000…
000…0000010
连续词袋模型（CBOW）
根据词的上下文词汇来预测目标词汇，例如上下文词汇是“今天早餐吃 ”，要预测的目标词汇可能 是“面包”
Skip-Gram模型
Skip-Gram模型刚好和CBOW相反，它是通过目标词汇来预测上下文词汇。例如目标词汇是“早餐”，上下文词汇可能是“今天”和“吃面包”。
对于这两种模型的训练，我们可能容易想到，使用softmax作为输出层来训练网络。
这个方法是可 行的，只不过使用softmax作为输出层计算量将会是巨大的。
假如我们已知上下文，需要训练模型 预测目标词汇，假设总共有50000个词汇，
那么每一次训练都需要计算输出层的50000个概率值。
所以训练Word2vec模型我们通常可以选择使用噪声对比估计（Noise Contrastive Estimation）
。NCE使用的方法是把上下文h对应地正确的目标词汇标记为正样本（D=1），然后再抽取一些错
误的词汇作为负样本（D=0）。然后最大化目标函数的值。
当真实的目标单词被分配到较高的概率，同时噪声单词的概率很低时，目标函数也就达到最大值了。
计算这个函数时，只需要计算挑选出来的k个噪声单词，而不是整个语料库。所以训练速度会很快。
训练完成后，可以看到词性比较相近的词，在空间中内积应该很大
CNN在自然语言处理的应用
CNN应用于NLP的任务，处理的往往是以矩阵形式表达的句子或文本。
矩阵中的每一行对应于一 个分词元素，一般是一个单词，也可以是一个字符。
也就是说每一行都是一个词或者字符的向量（比如前面说到的word2vec）。
假设我们一共有10个词，每个词都用128维的向量来表示，那么我们就可以得到一个10×128维的矩阵。
这个矩阵就相当于是一副“图像”。
