原始语料格式：一个文件，一篇文章。
#!/usr/bin/env python # -*- coding: UTF-8 -*- import jieba from gensim import corpora,models,similarities import codecs def cut_words(file): with open(file, 'r',encoding="utf-8") as f: text = f.read() words = jieba.lcut(text) # print(len(words),words) #查看分词结果 return words def drop_Disable_Words(cut_res,stopwords): res = [] for word in cut_res: if word in stopwords or word ==" " or word =="u3000": continue res.append(word) #print(len(res),res) #查看去停用词结果 return res def read_stop_word(file_path): file = file_path stopwords = codecs.open(file,'r',encoding='utf8').readlines() stopwords = [ w.strip() for w in stopwords ] return stopwords #读取原始语料、停用词表 files = ['file1.txt', 'file2.txt', 'file3.txt' ] stopwords = read_stop_word("stop_word.txt") #分词、去停用词 corpus = [] for file in files: #分词 cut_res = cut_words(file) #去停用词 res = drop_Disable_Words(cut_res,stopwords) corpus.append(res) # print(len(corpus)) #建立词袋模型 dictionary = corpora.Dictionary(corpus) doc_vectors = [dictionary.doc2bow(text) for text in corpus] # print(len(doc_vectors),doc_vectors) ##################################################################### # print("文档数目:") # print (dictionary.num_docs) # # print("所有词的个数:") # print(dictionary.num_pos ) # # print("单词在文档中出现的次数：") # print(dictionary.dfs ) # # print("字典，{单词id:对应的词}") # print((dictionary.id2token)) # # print ("字典，{词:对应的单词id}") # print((dictionary.token2id)) # print ("每个文件中不重复词个数的和") # print(dictionary.num_nnz) #每个文件中不重复词个数的和 ########################################################################## tfidf = models.TfidfModel(doc_vectors) tfidf_vectors = tfidf[doc_vectors] print(len(tfidf_vectors)) print(len(tfidf_vectors[0])) print(tfidf_vectors[0]) #建立TF-IDF模型 def TF_IDF(tfidf_vectors,doc_vectors): index = similarities.MatrixSimilarity(tfidf_vectors) sims = index[doc_vectors[0]] print (list(enumerate(sims))) #建立LSI模型 def LSI(tfidf_vectors,dictionary,doc_vectors,theme_num): lsi = models.LsiModel(tfidf_vectors, id2word=dictionary, num_topics=theme_num) lsi_vector = lsi[tfidf_vectors] query_lsi = lsi[doc_vectors[0]] index = similarities.MatrixSimilarity(lsi_vector) sims = index[query_lsi] print(list(enumerate(sims))) #使用LSI模型计算相似度 LSI(tfidf_vectors,dictionary,doc_vectors,2) #使用TF-IDF模型计算相似度 TF_IDF(tfidf_vectors,doc_vectors)
原始语料格式如下示例：
汽车 酷似卡宴 华泰新ＳＵＶ宝利格广州车展上市 http://auto.data.people.com.cn/news/story_428419.html 华泰在推出自主轿车Ｂ１１后，又一款自主ＳＵＶ宝利格已经确定将在１１月下旬的广州车展上市正式上市，新车将与Ｂ１１一样搭载１．８Ｔ汽油机和２．０Ｔ柴油机，预计售价１０－１５万元之间，最大的亮点就是酷似保时捷卡宴的外观。；泰宝利格凭借酷似保时捷卡宴的外观而颇受关注，这款车整体外形设计厚重敦实，有着ＳＵＶ应有的硬朗和雄浑，其车身采用了大量的镀铬装饰和银色装饰件，凸显年轻和时尚；同时宝利格也继承了华泰家族式脸谱造型，与华泰Ｂ１１相似的前脸采用了倒梯形网状前格栅，新款双氙气大灯不仅提供更加理想的照明效果，也将成为宝利格的独特标识。；泰宝利格２６２０毫米的轴距带来的车内空间宽大而理想，其内饰方面也与卡宴经典车型非常接近，内饰配色采用米色和浅棕色的组合，并配备木纹饰板以提升质感，有着典型的欧系风情，带给消费者极佳的视觉享受。此外，Ｂ３５还配备了大屏幕的液晶屏和自动空调等多种舒适性配置。Ｔ诙力上，华泰宝利格使用的是源于意大利ＶＭ技术的清洁柴油发动机，搭载１．８Ｔ涡轮增压发动机，最大功率１６０马力，最大扭矩２１５Ｎｂｍ，采用全时四轮技术驱动。这一动力配置再次彰显华泰汽车低碳、环保的产品理念，迎合了高端人士对环保低碳的需求。；泰宝利格采用的是前麦弗逊、后多连杆的前后独立悬挂设置，车身也是更强调舒适性能的承载式车身，定位上将更加偏向都市ＳＵＶ。就定位而言，未来宝利格将作为华泰ＳＵＶ系列中的高端产品，与圣达菲一样主攻城市ＳＵＶ领域。．．．全文 ＞ （来源：网上车市）
汽车 最受欢迎ＴＯＰ１０车型出炉 帝豪ＥＣ７脱颖而出 http://auto.data.people.com.cn/news/story_390275.html 爱美之心人皆有之，汽车的外观炫感度所形成的冲击力，往往会给第一眼与之接触的消费者留下挥之不去的深刻印象。当前，随着中国汽车市场发展的日趋成熟，消费者对汽车外型的要求也变得越来越挑剔和苛刻，经媒体广泛调查发现，＂车型外观＂已经成为购车者的首选考虑因素之一。Ｄ敲矗究竟哪些品牌的车型外观更酷、更赞、更大气，同时也更加受到大众 的认同和青睐呢？为了解答这个疑问，汽车点评网联合《汽车杂志》、《轰》杂志以及互联网消费者调研中心在近期举办了＂全球最受欢迎外观车型大评选＂活动。Ｆ车也选美，帝豪ＥＣ７脱颖而出５酆溃牛茫钒潦友窍党迪盗校一举从众多参选车型中脱颖而出，成为全球十大最受欢迎外观车型之一，可以说是丝毫不使人感到意外的。我们可以看到，帝豪ＥＣ７外观的优越性、高端性塑造，凸显出其强劲的全球竞争实力和同欧美系品牌分庭抗衡的信心。Ｍ时，帝豪ＥＣ７的此番登顶，也意味着国产汽车品牌将迎来一个全新的历程，并且对国产汽车进入快速崛起模式同样具有深刻的启示意义。正如评选参与者所言：＂帝豪ＥＣ７车型外观大气、稳重，是近年来国产车中外观设计最好的车型之一。找到了价格、安全、空间、动力、材质、做工的平衡点，是一款性价比很高的车型。＂９产车发力，帝豪系列众望所归Ｏ笳髯牛⒑阑、稳健、力量＂的帝豪ＥＭＧＲＡＮＤ系列可谓国产汽车中的精品，此系列中的各款车型皆具大家风范，圆润、饱满的构造，以及简洁、明快的线条，使整个车型外观尽显大气并活力四射。４拥酆溃牛茫返剑牛茫福诠释了吉利帝豪 向欧洲标准看齐的步伐正不断加快，而由国外著名设计公司组成的团队，也给帝豪的工艺水平提升带来了质的飞跃。之所以帝豪总能给人一种国际尖端品牌的驾乘感受，与这些因素是分不开的。Ｌ氐愕娜诤稀⑿阅艿谋Ｖぁ⒆鸸蟮奶逖椤⒑侠淼男约郏这些都是帝豪能在此次评选活动中笑傲群雄的基础，同时也证明了帝豪不断跻身国际中高端汽车行业的实力，吉利帝豪做为国产车成功的典范，不久的将来，将在世界汽车市场上享有自己的一席之地。＃保最受欢迎ＴＯＰ１０车型出炉 帝豪ＥＣ７脱颖而出
#!/usr/bin/env python # -*- coding: UTF-8 -*- import pandas as pd import jieba def drop_stopwords(content_res,stopwords): contents_clean = [] all_words = [] for line in content_res: #用于存储清洗后的词 line_clean = [] for word in line: #如果这个词出现在停用词里，过滤掉 if word in stopwords: continue #存储过滤后的词 line_clean.append(word) all_words.append(str(word)) #把已经清洗的列表存储起来 contents_clean.append(line_clean) return contents_clean,all_words#contents_clean为清理完的数据，为二维列表 #读取语料数据 df_news = pd.read_table("val.txt",names=['category','theme','url','content'],encoding= 'utf-8') df_news = df_news.dropna() #将数据转为二维列表:list of list content = df_news.content.values.tolist() #将每个content列转为列表，结果为二维列表 #读取停用词表 df_stop= pd.read_csv("stop_word.txt",encoding="utf-8",sep = " ",names = ['stopword']) #将数据转为二维列表:list of list stopwords = df_stop.stopword.values.tolist() #分词，数据格式：list of list content_res =[] for line in content: current_segment = jieba.lcut(line) if len(current_segment) > 1 and current_segment != ' ': content_res.append(current_segment) #清停用词，数据格式：list of list contents_clean, all_words = drop_stopwords(content_res,stopwords) #查看清洗后的数据 # df_content =pd.DataFrame({'content_res':contents_clean}) # print(df_content.head()) #词频统计 # df_all_words = pd.DataFrame({'all_words':all_words}) # words_count = df_all_words.groupby(by=['all_words'])['all_words'].agg({"count":np.size}) # words_count =words_count.reset_index().sort_values(by=['count'],ascending=False) # print(words_count.head())