NLP related basic knowledge with deep learning methods

NLP related basic knowledge with deep learning methods 

2017-06-22  

 

　　First things first >>>>>>>>>>>>>>>>>>>>>>>> Some great blogs:

　　1. https://github.com/udacity/deep-learning/blob/master/embeddings/Skip-Gram_word2vec.ipynb 

　　2. http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/ 

　　3. http://www.thushv.com/natural_language_processing/word2vec-part-1-nlp-with-deep-learning-with-tensorflow-skip-gram/ 

　　4. https://github.com/udacity/deep-learning/blob/master/sentiment-rnn/Sentiment_RNN.ipynb 

　　5. https://github.com/mchablani/deep-learning 

 

　　Second >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Skip-Thought Vectors:

　　1. 无监督的表示模型，做 sentence-level，seq2seq model ... 该方法的能够 work 的原因在于下面的这幅图：

　　

　　该方法的两个主要部分：encoder-decoder，不同的是 这里有两个 decoder，分别用于解码当前句子的前一句 和 后一句。网络的训练 loss 的定义就是两个 decoder 部分 loss 的叠加：

　　

　　该方法的另一个问题在于：如何处理网络并未见过的 word ？ 因为该网络的 encoder 部分可以将 文本 转化为 feature，但是可能有些 words 并未见过，如何编码这些 words 呢？本文利用 word2vector 的方法，将该机制中的 word 通过一个 映射函数 W 来进行转移，利用 L2 线性逻辑回归损失函数 来学习该 matrix W。

　　reference paper:

　　　　(1). http://papers.nips.cc/paper/5950-skip-thought-vectors.pdf 

　　　　(2). blog: http://chuansong.me/n/478040352820 

　　

　　2.