信息增益算法

上数据挖掘课的时候算过GINI指数，在寻找降维算法的时候突然看到了信息增益算法，突然发现信息增益算法和课上算的GINI指数很相似，于是就用在这次文本分类实验当中。总的来说信息增益算法是为了求特征t对于分类的贡献大小。贡献大则称信息增益大、贡献小信息增益小。文本分类自然是找那些对分类贡献大的词汇了。。。

在信息增益算法当中关键要求的是条件熵，即固定特征t之后系统的熵，公式如下

代码如下

def get_conditional_entropy(word):
    sum1, sum2, word_total= 0, 0, 0
    
    for k,v in cate_word.items():
        word_total += cate_word[k][word]

    for k,v in cate_word.items():
        sum1 += cate_word[k][word] / word_total * math.log((cate_word[k][word] + 1) / word_total,2)

    p_t = word_total / text_total
    p_t_ = (text_total - word_total) / text_total

    for k,v in cate_word.items():
        # print("(text_total - word_total) is",str((text_total - word_total)))
        # print("(cate_text_count[k] - cate_word[k][word]) is" ,str((cate_text_count[k] - cate_word[k][word])))
        # print("cate_text_count[k] is",str(cate_text_count[k]))
        # print("cate_word[k][word] is",str(cate_word[k][word]))
        # print(k)
        # print(word)
        sum2 += (cate_text_count[k] - cate_word[k][word] + 1)/(text_total - word_total + 1) * math.log((cate_text_count[k] - cate_word[k][word] + 1)/(text_total - word_total + 1),2)

    return p_t * sum1 + p_t_ * sum2