关于jieba分词 Python

做词云可视化的时候，一般都用一个库叫jieba，它是用来分词的。

Jieba库在安装时，会附带一个词库，这个词库中包含了日常汉语的词语和词性。在分词时，Jieba库会先基于词库对文本进行匹配，生成文本中的汉字最有可能形成的词。然后将这些词组成一个DAG，用动态规划算法来查找最大的概率路径，尽可能不将一个词拆成单独的汉字。最后，再从词库中找出基于词频的最大切分组合，把这些组合在文本中找出来，进而形成一个一个的词语。

同时Jieba库还使用了HMM模型，用以提高分词的准确率，该模型可以对词库中没有的词进行分词。

jieba库里有一个cut函数，提供了自动分词功能。

import jieba

# 打开文档
with open(r'C:\Users\rabbiter\Desktop\2\1.txt', mode='r', encoding='utf-8-sig') as f:
    reader = f.read() # 就叫阅读器吧
words = jieba.cut(reader) # 开始分词
print(list(words)) # ['他

上面的分词结果中，有大量的标点符号，和一些与情感表达无关的词语，为了避免无关词语对情感分析的影响和加快计算词语的情感速度，就需要对分词的结果进行优化。主要从删除标点符号还有与情感表达无关的词语。

方法一般是使用停用词集和提取文本中的关键词词性。

1，使用停用词集：

import jieba

# 打开文档
with open(r'C:\Users\rabbiter\Desktop\2\1.txt', mode='r', encoding='utf-8-sig') as f:
    reader = f.read() # 就叫阅读器吧
words = jieba.cut(reader) # 开始分词
# print(list(words)) # ['他', '是', '风光', '无限', '的', '帝国', '总裁', '，', '商场', '的', '中流砥柱', '。', '\n', '\n', ' ', ' ', ' ', ' ', '她', '是', '出生', '富家', '的', '少女'...]

# 打开停用词集
with open(r'C:\Users\rabbiter\Desktop\2\1.txt', mode='r', encoding='utf-8-sig') as f:
    stopWords = f.read()

remainWords = [] # 用来存储分析过后的词集
for i in list(words):# 循环读取文档中取出来的词
    if i not in stopWords: # 假如这个词不在停用词集中
        remainWords.append(i) # 将其追加到列表以供使用
print(remainWords)

2，根据词性提取关键词，每个词语都是有着自己的词性，可以通过Jieba库提取出来每个词的词性，然后进行筛选，保留需要的词语，代码如下：

import jieba
import jieba.posseg as psg
# 打开文档
with open(r'C:\Users\rabbiter\Desktop\2\1.txt', mode='r', encoding='utf-8-sig') as f:
    reader = f.read() # 就叫阅读器吧
words = jieba.cut(reader) # 开始分词
# print(list(words)) # ['他', '是', '风光', '无限', '的', '帝国', '总裁', '，', '商场', '的', '中流砥柱', '。', '\n', '\n', ' ', ' ', ' ', ' ', '她', '是', '出生', '富家', '的', '少女'...]

cixing = () # 定义词性元组
cixingWords = [] # 需要的词
for i in psg.cut(reader): # 开始提取词性
    # print(i) # 是/v，前面的"是"表示词，后面的”v“表示是动词
    cixing = (i.word, i.flag) # 词语和词性
    # print(cixing) # ('他', 'r')
    cixingWords.append(cixing) # 将所有元组都添加到列表

# 开始条件分词
save = ['a', 'n'] # a表示形容词，n表示名词
for i in cixingWords:
    # print(i) # 元组
    if i[1] in save: # 通过索引取到词性，条件判断在不在列表中
        print(i) # 打印结果
# 接下来还得将词进行拆分进行词云可视化