刘存俊第二次作业

2、利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。

（a）对Sena、Sensin和Omaha图像进行编码。

图像名称	压缩前	压缩后	压缩率
Sena	64.0	56.1	88%
Sensin	64.0	60.2	94%
Omaha	64.0	57.0	89%

图像名称	压缩前	压缩后	压缩率
Sena	64.0	56.1	87.66%
Sensin	64.0	60.2	94.06%
Omaha	64.0	57.0	79.06%

4.一个信源从符号集A={a1,a2,a3,a4,a5}中选择字母，概率为P(a1)=0.15,P(a2)=0.04,P(a3)=0.26,P(a4)=0.05,P(a5)=0.50。

      （a）计算这个信源的熵。

      （b）求这个信源的霍夫曼编码。

      （c）求（b）中代码的平均长度及其冗余度。

答：

(a):H=p(a1)*log₂p(a1)+p(a2)*log₂p(a2)+p(a3)*log₂p(a3)+p(a4)*log₂p(a4)+p(a5)*log₂p(a5)

             =0.15*log₂0.15+0.04*log₂0.04+0.26*log₂0.26+0.05*log₂0.05+0.50*log₂0.50

            =0.548

(b)概率从小到大的排序为：0.04,0.05,0.15,0.26,0.50

          a1的编码为：001

          a2的编码为：0000

          a3的编码为：01

          a4的编码为：0001

          a5的编码为：1

(c)平均长度l=p(a1)*l(a1)+p(a2)*l(a2)+p(a3)*l(a3)+p(a4)*l(a4)+p(a5)*l(a5)

                      =0.15*3+0.04*4+0.26*2+0.05*4+0.50*1

                      =1.83bit

     冗余度r=H_max(x)-H(X)=logm=H(X)=1.83-0.548=1.282

5.一个符号集A={a1,a2,a3,a4},其概率为P(a1)=0.1,P(a2)=0.3,P(a3)=0.25,P(a4)=0.35,使用以下过程找出一种霍夫曼码：

       (a)本章概述的第一种过程；

       (b)最小方差过程。

       解释这两种霍夫曼码的区别。

（a）

字母	码字	概率
a1	001	0.1
a2	01	0.3
a3	000	0.25
a4	1	0.35

字母	码字	概率
a1	11	0.1
a2	01	0.3
a3	01	0.25
a4	00	0.35

可得

平均码长： 

L=3*0.1+2*0.3+3*0.25+1*0.35=2

L=2*0.1+2*0.3+2*0.25+2*0.35=2

冗余=l-H=1.282bits/symbol

故最小方差过程：

S²=0.1(3-2)²+0.3(2-2)²+0.25(3-2)²+0.35(1-2)²=0.70

S²=0.1(2-2)²+0.3(2-2)²+0.25(2-2)²+0.35(2-2)² =0

对比之下可以看出第二种方法更加好一些

6.在本书配套的数据集中有几个图像和语音文件。

（a）编写一段程序，计算其中一些图像和语音文件的一阶熵。

（b）选择一个图像文件，并计算其二阶熵。试解释一阶熵与二阶熵的区别，

（c）对于（b）中所用的图像文件，计算其相邻像素之差的熵，试解释你的发现。

文件名	一阶熵	二阶熵	差阶熵
SENA.IMG	6.834299	3.625204	3.856989
GABE.RAW	7.116338	6.654578	8.978236
BERK.RAW	7.151537	6.705169	8.976150
EARTH.IMG	4.770801	2.568358	3.962697
OMAHA.IMG	6.942426	4.488626	6.286834
SENSIN.IMG	7.317944	4.301673	4.541597