一、句子的表示
1.向量空间模型
BOW、one-hot、tf-idf(主题模型,可降维)
2.无监督的深度语义
进行降维、对句子进行语义表示
2.1自回归AR,错位预测
用RNN,相当于达到了用上文预测下文的作用。
2.2自编码AE
信息压缩-->信息放大(类似seq2seq的encoder和decoder过程)
Word2Vec skip-gram:通过当前单词预测上下文单词(词向量)
sentence2vector:通过当前句子,预测上下文句子(句向量)
ELMo:解决一词多义的问题(H_il:表示LSTM隐层学习的词向量)
Seq2seq:Encode-decode NMT
Seq2seq:Encode-decode NMT with attention
transformer
GPT(Transformer decoder)
Bert(transformer encoder)
3.深度匹配范式(有监督)
GAN的判别器,语义的判断
pointwise&pairwise
表示模型和交互模型
表示模型example:DSSM
交互模型example:MV-LSTM
交互模型:MatchPyramid