1、 参考书《数据压缩导论（第4版）》P66
2. 利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a）对Sena、Sensin和Omaha图像时行编码。
（b）编写一段程序，得到相邻之差，然后利用huffman对差值图像进行编码。
（c）使用adap_huff重复（a）和（b）。
答：（a）对Sena、Sensin和Omaha图像时行编码为：
|
压缩前 |
压缩后 |
压缩比 |
||
|
文件名称 |
文件大小 |
文件名称 |
文件大小 |
|
|
SENA.IMG |
64KB |
sina.huff |
57 KB |
89.06% |
|
SINAN,IMG |
64KB |
sinan.huff |
61 KB |
95.31% |
|
OMAHA.IMG |
64KB |
omaha.huff |
58 KB |
90.63% |
4.一个信源从符号集A{a1,a2,a3,a4,a5}中选择字母，概率为p(a1)=0.15,p(a2)=0.04,p(a3)=0.26,p(a4)=0.05,p(a5)=0.50。
（a）计算这个信源的熵。
（b）求这个信源的霍夫曼码。
（c）求（b）中代码的长度和冗余度。
解：（a）
H=-(0.15*log20.15+0.04*log20.04+0.26*log20.26+0.05*log20.05+0.50*log20.50)
H=-0.15*log20.15-0.04*log20.04-0.26*log20.26-0.05*log20.05-0.50*log20.50=1.83(bits/sysbom)
（b）
|
码长 |
码字 |
信源符号 |
出现概率 |
|
3 |
001 |
a1 |
0.15 |
|
4 |
0000 |
a2 |
0.04 |
|
2 |
01 |
a3 |
0.26 |
|
4 |
0001 |
a4 |
0.05 |
|
1 |
1 |
a5 |
0.5 |
（c）平均长度L=3*0.15+4*0.04+2*0.26+4*0.05+1*0.5=1.83(bits/symbol)
冗余度=L-H=0
5.一个符号集A{a1,a2,a3,a4}，其概率为p(a1)=0.1,p(a2)=0.3,p(a3)=0.25,p(a4)=0.35，使用以下过程找出霍夫曼码：
（a)本章概述的第一过程；
(b)最小方差过程。
答：（a）
第一步：写出所有符号的概率；对所有符号按其概率从小到大进行排序；
第二步：在最小的的码字前写 “0”，在第二小的码字前加写 “1”；
第三步：将这两个集合的概率相加与剩下的符号的概率再次进行排序，重复第2步骤，直到每个符号被标记；
第四步：算出平均码长
|
码长 |
码字 |
信源符号 |
出现概率 |
|
3 |
000 |
a1 |
0.1 |
|
2 |
01 |
a2 |
0.3 |
|
3 |
001 |
a3 |
0.25 |
|
1 |
1 |
a4 |
0.35 |
平均码长：L=3*0.1+2*0.3+3*0.25+1*0.35=2
（b）
a4（0.35）
a2（0.3） a1’（0.35） a2’（0.65）
a3（0.25） 0 a4（0.35） 0 a1’（0.35）
a1（0.1） 1 a2（0.3） 1
|
码长 |
码字 |
信源符号 |
出现概率 |
|
2 |
11 |
a1 |
0.1 |
|
2 |
01 |
a2 |
0.3 |
|
2 |
10 |
a3 |
0.25 |
|
2 |
00 |
a4 |
0.35 |
平均码长：L=2*0.1+2*0.3+2*0.25+2*0.35=2
第一种过程方差：S2=0.1(3-2)2+0.3(2-2)2+0.25(3-2)2+0.35(1-2)2 =0.70
第二种过程方差：S2=0.1(2-2)2+0.3(2-2)2+0.25(2-2)2+0.35(2-2)2=0
由于第二种过程的方差较小，方差较小比较稳定，所以第二种过程比较好
2、 参考书《数据压缩导论（第4版）》P30
6.在本书配套的数据中有几个图像和语音文件。
(a) 编写一段程序，计算其中一些图像和语音文件的一阶熵。
(b) 选择一个图像文件，计算其二阶熵。试解释一阶熵与二阶熵的差别。
(c) 对于(b)中所有的图像文件，计算其相邻像素之差的熵，试解释你的发现。
答：
|
文件 |
一阶熵 |
二阶熵 |
差分熵 |
|
BERK.RAW |
7.151537 |
6.705169 |
8.976150 |
|
GABE.RAW |
7.116338 |
6.654578 |
8.978236 |
|
EARTH.IMG |
4.77801 |
2.568358 |
3.962697 |
|
OMAHA.IMG |
6.942426 |
4.488626 |
6.286834 |
|
SENA.IMG |
6.834299 |
3.625204 |
3.856989 |
|
SENSIN.IMG |
7.317944 |
4.301673 |
4.541547 |
从表格中可以看出，不管是.RAW文件，还是.IMG文件，其一阶熵都比二阶熵要大，那么对于它们的差分熵而言，.RAW文件差分熵比一阶熵和二阶熵都要大，而.IMG文件，它的差分熵是介于一阶熵和二阶熵之间