图像的信息熵：
来源：https://www.cnblogs.com/yongjiuzhizhen/archive/2013/12/02/3454502.html
1948年，香农（Claude E. Shannon）提出了信息熵的概念，解决了对信息的量化度量问题。香农第一次用数学语言描述了概率于信息冗余度的关系。
信息的定义：
信息是确定性的增加。
信息是物质、能量、信息及其属性的标示。
所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律（熵增定律）的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。
【计算公式】
H(x)=E[I(xi)]=E[ log(2,1/p(xi)) ]=-∑p(xi)log(2,p(xi)) (i=1,2,..n)