2 利用程序huff_enc进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a） 对Sena、Sensin和Omaha图像时行编码。
| 文件名 | 压缩前 | 压缩后 | 压缩比 |
| OMAHA.IMG | 64KB | 57.0KB | 89.1% |
| SENA.IMG | 64KB | 56.1KB | 87.7% |
| SINAN.IMG | 64KB | 60.2KB | 94.1% |
4 一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母，概率为P（a1）=0.15，P（a2）=0.04，P（a3）=0.26，P（a4）=0.05，P（a5）=0.50。
（a）计算这个信源的熵。
H(x)=0.15*log2（15/100）+0.04*log2（4/100）+0.26*log2（26/100）+0.05*log2（5/100）+0.5*log22
=1.83（bit）
（b）求这个信源的霍夫曼码。
|
字母 |
码字 |
概率 |
|
A1 |
110 |
0.15 |
|
A2 |
1111 |
0.04 |
|
A3 |
10 |
0.26 |
|
A4 |
1110 |
0.05 |
|
A5 |
0 |
0.50 |
（c）求（b）中代码的平均长度及其冗余度。
l=0.50*1+0.05*4+0.26*2+0.04*4+0.15*3=1.83(bit)
冗余度：l-H=1.83-1.83
=0
5 一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a）本章概述的第一种过程：
|
字母 |
码字 |
概率 |
|
A1 |
001 |
0.1 |
|
A2 |
01 |
0.3 |
|
A3 |
000 |
0.25 |
|
A4 |
1 |
0.35 |
l=0.35*1+0.25*3+0.3*2+0.1*3=2（bit）
方差为：s2=0.1*（3-2）2+0.3*（2-2）2+0.25*（3-2）2+0.35*(1-2)2=0.7
（b）最小方差过程。
|
字母 |
概率 |
码字 |
|
A1 |
0.1 |
11 |
|
A2 |
0.3 |
01 |
|
A3 |
0.25 |
01 |
|
A4 |
0.35 |
00 |
、
l=0.35*2+0.25*2+0.3*2+0.1*2=2(bit）
所以 两种方法的平均码长都为2。
方差为:s2=0
第一种方法与第二种方法的平均码长一样，第一种方差比第二种大。
参考书《数据压缩导论（第4版）》Page 30
6 在本书配套的数据集中有几个图像和语音文件。
(a)编写一段程序，计算其中一些图像和语音文件的一阶熵。
|
文件名 |
文件大小 |
一阶熵 |
|
EARTH.IMG |
64K |
4.77 |
|
GABE.RAW |
1043K |
7.11 |
|
OMAHA.IMG |
64K |
6.94 |
|
SENSIN.IMG |
64K |
7.32 |
|
BERK.RAW |
1125K |
7.15 |
(b)选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。
|
文件名 |
文件大小 |
一阶熵 |
二阶熵 |
|
SENSIN.IMG |
64K |
7.32 |
4.3 |
答：同一个文件的一阶熵比二阶熵大。
(c)对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。
|
文件名 |
文件大小 |
一阶熵 |
二阶熵 |
差阶熵 |
|
SENSIN.IMG |
64K |
7.32 |
4.3 |
4.54 |
答：：同一个文件的差阶熵比一阶熵小，比二阶熵大。