文字分词预处理之jieba库

import jieba

content = '工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作'
result = jieba.cut(content)  # <generator object Tokenizer.cut at 0x0000019B4DB1D360>
result2 = jieba.lcut(content,
                     cut_all=False)  # ['工信处', '女干事', '每月', '经过', '下属', '科室', '都', '要', '亲口', '交代', '24', '口', '交换机', '等', '技术性', '器件', '的', '安装', '工作']
print(result2)

#   将所有可以成词的词语都cut出来，速度快，但不能消除歧义
result3 = jieba.lcut(content,
                     cut_all=True)  # ['工信处', '处女', '女干事', '干事', '每月', '月经', '经过', '下属', '科室', '都', '要', '亲口', '口交', '交代', '24', '口交', '交换', '交换机', '换机', '等', '技术', '技术性', '性器', '器件', '的', '安装', '安装工', '装工', '工作']
print(result3)

#   对长词再次切分，适用于搜索引擎分词
result4 = jieba.lcut_for_search(
    content)  # ['工信处', '干事', '女干事', '每月', '经过', '下属', '科室', '都', '要', '亲口', '交代', '24', '口', '交换', '换机', '交换机', '等', '技术', '技术性', '器件', '的', '安装', '工作']
print(result4)

#   自定义字典分割
content2 = '八一双鹿更名为八一南昌篮球队！'
result5 = jieba.lcut(content2)  # ['八', '一双', '鹿', '更名', '为', '八一', '南昌', '篮球队', '！']
print(result5)

# 加载自定义词组
jieba.load_userdict('./my_dic.txt')  # ['八', '一双', '鹿', '更名', '为', '八一', '南昌', '篮球队', '！']
result6 = jieba.lcut(content2)  # ['八一双鹿', '更名', '为', '八一南昌', '篮球队', '！']
print(result6)