假期学习【十一】Python切词，以及从百度爬取词典

今天主要对从CSDN爬取的标题利用jieba（结巴）进行分词，但在分词过程中发现，如大数据被分成了大/数据，云计算被分隔成了云/计算。

后来又从百度百科---》信息领域爬取了相关词语作为词典，预计今天晚上完成切词任务。

其中分割代码如下：

import jieba
import io

#对句子进行分词
def cut():
    f=open("E://luntan.txt","r+",encoding="utf-8")
    for line in f:
        seg_list=jieba.cut(line)
        #print(' '.join(seg_list))
        for i in seg_list:
            print(i)
            write(i+" ")
        #write(' '.join(seg_list))


#分词后写入
def write(contents):
    f=open("E://luntan_cut.txt","a+",encoding="utf-8")
    f.write(contents)
    print("写入成功！")
    f.close()

#创建停用词
def stopwordslist(filepath):
    stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()]
    return stopwords

# 对句子进行去除停用词
def seg_sentence(sentence):
    sentence_seged = jieba.cut(sentence.strip())
    stopwords = stopwordslist('E://stop.txt')  # 这里加载停用词的路径
    outstr = ''
    for word in sentence_seged:
        if word not in stopwords:
            if word != '	':
                outstr += word
                outstr += " "
    return outstr

#循环去除
def cut_all():
    inputs = open('E://luntan_cut.txt', 'r', encoding='utf-8')
    outputs = open('E//luntan_stop', 'w')
    for line in inputs:
        line_seg = seg_sentence(line)  # 这里的返回值是字符串
        outputs.write(line_seg + '
')
    outputs.close()
    inputs.close()

if __name__=="__main__":
    cut()

分割后的文本

 从百度爬取词典要把百度页面 地址：https://baike.baidu.com/wikitag/taglist?tagId=76607

该页拉到最下，并存为本地mhtml格式，在浏览器打开然后右击查看源代码，源代码保存为txt格式文件，

代码如下：

import io
import re

patton=re.compile(r'title=".*"')
def read():
    f=open("E://mhtml.txt","r+",encoding="utf-8")
    for line in f:
        line=line.rstrip("
")
        m=patton.findall(line)
        #print(line)
        if len(m)!=0:
            print(m)
            write(str(m).lstrip("['title="").rstrip(""']")+"
")

def write(contents):
    f=open("E://xinxi.txt","a+",encoding="utf-8")
    f.write(contents)
    print("写入成功！")
    f.close()

if __name__=="__main__":
    read()

效果：