潜语义分析(Latent Semantic Analysis)

LSI(Latent semantic indexing, 潜语义索引）和LSA（Latent semantic analysis,潜语义分析）这两个名字其实是一回事。我们这里称为LSA。

LSA源自问题：如何从搜索query中找到相关的文档?当我们试图通过比较词来找到相关的文本时，就很机械、存在一定的局限性。在搜索中，文档的相似性并不应该由两个文本包含的词直接决定，而是应该去比较隐藏在词之后的意义和概念。但传统向量空间模型使用精确的词匹配，即精确匹配用户输入的词与向量空间中存在的词。比如用户搜索“automobile”，即汽车，传统向量空间模型仅仅会返回包含“automobile”单词的页面，而实际上包含”car”单词的页面也可能是用户所需要的。潜语义分析试图去解决这个问题，它把词和文档都映射到一个潜在语义空间，文档的相似性在这个空间内进行比较。潜语义空间的维度个数可以自己指定，往往比传统向量空间维度更少，所以LSA也是一种降维技术。

LSA的整个过程如下：

1. 将文档集构造成Term-Document矩阵M，矩阵中的每个位置的值可以是该行代表个词在该列代表的文档中的词频、TFIDF值或其他。

2. 对Term-Document矩阵进行SVD奇异值分解，此时M = U * S * V^T。SVD奇异值分解的详细过程可以查看此文。

3. 对SVD分解后的矩阵进行降维，只保留矩阵S前K个最大的奇异值得到S’。相应的U、V分别为U’、V’。 V’中的每行即为每个文档在潜在语义空间上的K维表示。

4. 使用降维后的矩阵重建Term-Document矩阵M’ = U’ * S’ * V’^T。

5. 对于一个列向量表示的新文档Q，其在潜在语义空间上的K维表示为Q’ = Q^T*U’*S’^-1。

6. 将新文档Q于文档集中的每个文档在潜在语义空间进行相似度计算，得到与Q最相似的文档。

下面是一个具体的例子，例子中能展现LSA的效果：M中human-C2值为0，因为文档C2中并不包含词human，但是重建后的M’中human-C2为0.40，表明human和C2有一定的关系，为什么呢？因为C2中包含user单词，和human是近似词，因此human-C2的值被提高了。(U、S、V中阴影部分别降维后的U’、S’、V’)。

LSA在复旦大学文本分类语料库上的验证：

(1)从分类语料中选取了Computer、Agriculture、Sports三个类别的文章，每个类别各取50篇左右。对每篇文章进行切词，停用词过滤后得到这里需要的的实验文档集。

(2) 使用Gensim对实验文档集进行LSA

from gensim import corpora, models, similarities

textset = 'C:\Users\Administrator\Desktop\LSA\textset.txt'
texts = [line.lower().split() for line in open(textset)]

# Map word to wordid, delete word occur only once
dictionary = corpora.Dictionary(texts)
once_ids = [tokenid for tokenid, docfreq in dictionary.dfs.iteritems() if docfreq == 1]
dictionary.filter_tokens(once_ids)
dictionary.compactify()

corpus = [dictionary.doc2bow(text) for text in texts]

# Use TF-IDF
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]

# Use LSI
lsi = models.LsiModel(corpus_tfidf, id2word=dictionary, num_topics=3)
corpus_lsi = lsi[corpus_tfidf]

for doc in corpus_lsi:
    print doc

(3) 画出每个文档在3维的潜语义空间上的对应坐标点，得到下图。可以看到整个文档集内的文档，朝3个方向分布，分别对应Computer、Agriculture、Sports三个类别。

转自本人博客：http://www.datalab.sinaapp.com/