参考书《数据压缩导论（第4版）》Page 66
2 利用程序huff_enc进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a） 对Sena、Sensin和Omaha图像时行编码。
|
文件 |
压缩前 |
压缩后 |
压缩比 |
|
SENA.IMG |
64KB |
56.1KB |
87.65% |
|
SINAN.IMG |
64KB |
60.2KB |
94.06% |
|
OMAHA.IMG |
64KB |
57.0KB |
89.06% |
4 一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母，概率为P（a1）=0.15，P（a2）=0.04，P（a3）=0.26，P（a4）=0.05，P（a5）=0.50。
（a）计算这个信源的熵。
H = 0.15log2 20/3 + 0.04log2 25 + 0.26log2 50/13 + 0.05log2 20 + 0.50log2 2
=1.818（bit）
（b）求这个信源的霍夫曼码。
将信源符号按出现概率减小的顺序排列：a5 , a3 , a1 ,a4 , a2
|
字母 |
码字 |
|
a1 |
001 |
|
a2 |
0000 |
|
a3 |
01 |
|
a4 |
0001 |
|
a5 |
1 |
（c）求（b）中代码的平均长度及其冗余度。
平均码长ｌ＝3*0.15+4*0.04+2*0.26+4*0.05+1*0.50=1.83（bit）
冗余度=ｌ- H =1.83-1.81=0.012
3-5 一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a）本章概述的第一种过程：
|
字母 |
码字 |
概率 |
集合 |
集合概率 |
|
a1 |
0.1 |
a1 |
0.1 |
|
|
a2 |
0.3 |
a2 |
0.3 |
|
|
a3 |
0.25 |
a3 |
0.25 |
|
|
a4 |
0.35 |
a4 |
0.35 |
|
字母 |
码字 |
概率 |
集合 |
集合概率 |
|
a1 |
0.1 |
a1 |
0.1 |
|
|
a2 |
0.3 |
a3 |
0.25 |
|
|
a3 |
0.25 |
a2 |
0.3 |
|
|
a4 |
0.35 |
a4 |
0.35 |
|
字母 |
码字 |
概率 |
集合 |
集合概率 |
|
a1 |
1 |
0.1 |
a1 |
0.1 |
|
a2 |
0.3 |
a3 |
0.25 |
|
|
a3 |
0 |
0.25 |
a2 |
0.3 |
|
a4 |
0.35 |
a4 |
0.35 |
|
字母 |
码字 |
概率 |
集合 |
集合概率 |
|
a1 |
1 |
0.1 |
a2 |
0.3 |
|
a2 |
0.3 |
a1 a3 |
0.35 |
|
|
a3 |
0 |
0.25 |
a4 |
0.35 |
|
a4 |
0.35 |
|
字母 |
码字 |
概率 |
集合 |
集合概率 |
|
a1 |
01 |
0.1 |
a2 |
0.3 |
|
a2 |
1 |
0.3 |
a1 a3 |
0.35 |
|
a3 |
00 |
0.25 |
a4 |
0.35 |
|
a4 |
0.35 |
|
字母 |
码字 |
概率 |
集合 |
集合概率 |
|
a1 |
001 |
0.1 |
a4 |
0.35 |
|
a2 |
01 |
0.3 |
a1 a2 a3 |
0.65 |
|
a3 |
000 |
0.25 |
||
|
a4 |
1 |
0.35 |
|
字母 |
码字 |
概率 |
集合 |
集合概率 |
|
a1 |
001 |
0.1 |
a1 a2 a3a4 |
1 |
|
a2 |
01 |
0.3 |
||
|
a3 |
000 |
0.25 |
||
|
a4 |
1 |
0.35 |
（b）最小方差过程。
|
字母 |
概率 |
码字 |
|
a1 |
0.1 |
11 |
|
a2 |
0.3 |
01 |
|
a3 |
0.25 |
10 |
|
a4 |
0.35 |
00 |
解释这两种霍夫曼码的区别。
第一种霍夫曼码：
平均码长ｌ1=3*0.1+2*0.3+3*0.25+1*0.35=2（bit）
码长方差：S12=0.35(1-2)2+0.3(2-2)2+0.25(3-2)2+0.1(3-2)2
=0.35+0.35
=0.7
最小方差霍夫曼码：
平均码长ｌ2=0.1*2+0.3*2+0.25*2+0.35*2=2（bit）
码长方差：S22=（0.1+0.25+0.3+0.35）(2-2)2 =0
ｌ1 = ｌ2 ， 但S12 > S22 ，所以最小方差霍夫曼码编码效率比第一种霍夫曼码要高。
参考书《数据压缩导论（第4版）》 Page 30
2-6. 在本书配套的数据集中有几个图像和语音文件。
(a)编写一段程序，计算其中一些图像和语音文件的一阶熵。
|
文件名 |
一阶熵 |
二阶熵 |
差分熵 |
|
EARTH.IMG |
4.770801 |
2.568358 |
3.962697 |
|
SENSIN.IMG |
6.0942426 |
4.488626 |
6.286834 |
|
SENA.IMG |
6.834299 |
3.625204 |
3.856989 |
|
OMAHA.IMG |
7.317944 |
4.301673 |
4.541547 |
|
BERK.RAW |
7.151537 |
6.705169 |
8.976456 |
|
GABE.RAW |
7.116338 |
6.654578 |
8.978236 |
(b)选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。
|
文件名 |
一阶熵 |
二阶熵 |
|
OMAHA.IMG |
7.317944 |
4.301673 |
一阶熵比二阶熵的值要大。
(c)对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。
|
文件名 |
一阶熵 |
二阶熵 |
差分熵 |
|
OMAHA.IMG |
7.317944 |
4.301673 |
4.541547 |
图像的差分熵比二阶熵大，比一阶熵小
音频的差分熵比一阶熵、二阶熵都要大。