第二次作业

2.利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。

(a)对Sena,Sensin和Omaha图像进行编码

答：

文件名	压缩前大小	压缩后大小	压缩比
Sence	64k	57k	0.89
Sensin	64k	61k	0.95
Omaha	64k	58k	0.91

4.一个信源从符号集A={a1,a2,a3,a4,a5}中选择字母，概率为P(a1)=0.15,P(a2)=0.04,P(a3)=0.26,P(a4)=0.05,P(a5)=0.50

(a)计算这个信源的熵

(b)求这个信源的霍夫曼码

(c)求(b)中代码的平均长度及其冗余度

答：

（a） H=-P(a1)*logP(a1)-P(a2)*logP(a2)-P(a3)*logP(a3)-P(a4)*logP(a4)-P(a5)*logP(a5)

          =0.411+0.186+0.505+0.216+0.5

          =1.818

（b）将概率由大到小排列为：a5,a3,a1,a4,a2

       所以霍夫曼码为，a1:001,a2:0000,a3:01,a4:0001,a5:1

（c） 平均长度L=0.5*1+0.26*2+0.15*3+(0.04+0.05)*4=1.83

        所以冗余度就是L-H=1.83-1.817=0.013

5、一个符号集A=A={a1,a2,a3,a4}，其概率为p(a1)=0.1，p(a2)=0.3，p(a3)=0.25，p(a4)=0.35，使用以下过程找出一种霍夫曼码：

(a) 本章概述的第一种过程；

(b) 最小方差过程。

解释这两种霍夫曼码的区别。

答：

(a) 则霍夫曼码为：

a1:001    a2:01    a3:000    a4:1 

(b)根据第二种过程的霍夫曼码为:

a1：00     a2：10    a3：01     a4：11

平均长度为:  l=2

则：

 第一种方差为:s₁²=(0.1+0.25)*(3-2)²+0.3*(2-2)²+0.35*(1-2)²=0.7

 第二种方差为:s₂²=(0.1+0.25+0.3+0.35)*(2-2)²=0

可知第二种过程得到的是最优码。 

6.在本书配套的数据集中有几个图像和语音文件。

（a）编写一段程序，计算其中一些图像和语音文件的一阶熵。　　

（b）选择一个图像文件，并计算其二阶熵。试解释一阶熵与二阶熵之间的差别。　　

（c）对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。　　

(a)答：

EARTH.IMG     4.770801

OMAHA.IMG    6.942426

SENA.IMG       6.834299

SENSIN.IMG    7.317944

BERK.RAW      7.151537

GABE.RAW      7.116338

test.txt           4.315677

(b)答：

图像名称	一阶熵	二阶熵
SENSIN	7.317944	4.301673

 　　　　　

可以看出SENSIN.IMG文件的一阶熵比二阶熵大。

(c)答：SENSIN.IMG的差分熵为：4.541547。它的差分熵和二阶熵相近，一阶熵最大。