数据分析练习-3.13进度

今天在昨天的基础上继续做了关键词提取的实现，将没有关键词的数据根据成果简介提取其关键词。

部分源代码：

import math

import jieba

import jieba.posseg as psg

from gensim import corpora, models

from jieba import analyse

import functools


def get_stopword_list():
    stop_word_path = 'C:/Users/ASUS/Desktop/stopwords.txt'

    stopword_list = [sw.replace('
', '') for sw in open(stop_word_path,encoding='utf-8').readlines()]

    return stopword_list


# 分词方法

def seg_to_list(sentence, pos=False):
    if not pos:

        # 不进行词性标注的分词方法

        seg_list = jieba.cut(sentence)

    else:

        # 进行词性标注的分词方法

        seg_list = psg.cut(sentence)

    return seg_list


# 去除干扰词，根据pos判断是否过滤除名词外的其他词性，再判断词是否在停用词表中，长度是否大于等于2等。

def word_filter(seg_list, pos=False):
    stopword_list = get_stopword_list()

    filter_list = []

    # 根据pos参数选择是否词性过滤

    # 不进行词性过滤，则将词性都标记为n,表示全部保留

    for seg in seg_list:

        if not pos:

            word = seg

            flag = 'n'

        else:

            word = seg.word

            flag = seg.flag

        if not flag.startswith('n'):
            continue

        # 过滤高停用词表中的词，以及长度为<2的词

        if not word in stopword_list and len(word) > 1:
            filter_list.append(word)

    return filter_list



    # 数据加载


# idf值统计方法

def train_idf(doc_list):
    idf_dic = {}

    # 总文档数

    tt_count = len(doc_list)

    # 每个词出现的文档数

    for doc in doc_list:

        for word in set(doc):
            idf_dic[word] = idf_dic.get(word, 0.0) + 1.0

    # 按公式转换为idf值，分母加1进行平滑处理

    for k, v in idf_dic.items():
        idf_dic[k] = math.log(tt_count / (1.0 + v))

    # 对于没有在字典中的词，默认其尽在一个文档出现，得到默认idf值

    default_idf = math.log(tt_count / (1.0))

    return idf_dic, default_idf


# topK

数据库结果截图：