zoukankan      html  css  js  c++  java
  • 自然语言处理算法精讲P3

    3.1跳过

    3.2跳过

    3.3语言与智能:信息熵

      1)Claude Shannon: 更多研究从高校转移到企业

      2) information Entropy: 

       3)熵

        a) 熵是一个 信息增量函数  H(x) >=0

        b) 发生概率越低的事件,信息量越大; H(x)与P(x)成反比

        c)  H(x1,x2) = H(x1)+ H(x2) 当发生多事件时,需要将熵相加,而对于概率是相乘的,所以采用了log

        d) 在二分类问题中,p(x1)=p(x2) = 0.5时,信息熵最大, 越相同,越没有规律,信息熵越大,越不同,信息熵越小

        

        

     

    3.4交叉熵

  • 相关阅读:
    服务器切换
    闭包函数
    函数对象+嵌套
    lvs讲解
    了解python
    rang enumerate
    set-集合功能介绍
    元组-tuple功能介绍
    dict-字典功能介绍
    list-列表功能介绍
  • 原文地址:https://www.cnblogs.com/ChevisZhang/p/13462888.html
Copyright © 2011-2022 走看看