3-2 利用程序huff_enc进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a） 对Sena、Sensin和Omaha图像时行编码。
|
文件名称 |
压缩前大小 |
压缩后大小 |
压缩比 |
|
SINAN |
64.0 KB (65,536 字节) |
60.2 KB (61,649 字节) |
94% |
|
SENA |
64.0 KB (65,536 字节) |
56.1 KB (57,503 字节) |
87.7% |
|
OMAHA |
64.0 KB (65,536 字节) |
57.0 KB (58,374 字节) |
89% |
（a）计算这个信源的熵。 3-4 一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母，概率为P（a1）=0.15，P（a2）=0.04，P（a3）=0.26，P（a4）=0.05，P（a5）=0.50。
0.15*log2（100/15）+0.04*log2（100/4）+0.26*log2（100/26）+0.05*log2（100/5）+0.5*log22=1.818
（b）求这个信源的霍夫曼码。
a1的编码为：001
a2的编码为：0000
a3的编码为： 01
a4的编码为：0001
a5的编码为: 1
（c）求（b）中代码的平均长度及其冗余度。
L=1*0.5+2*0.26+3*0.15+4*0.15+4*0.04=1.83
冗余度：L-H=0.012
3-5 一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a）本章概述的第一种过程：
（b）最小方差过程。
解释这两种霍夫曼码的区别。
解： (a)由编码过程可得第一种方法：
a1的编码:000
a2的编码:01
a3的编码:001
a4的编码:1
平均码长L=0.1*3+0.3*2+0.25*3+0.35*1=2.
(b) 选择方差小的进行编码可得第二种方法：
a1的编码:00
a2的编码:01
a3的编码:10
a4的编码:11
平均码长L=0.1*2+0.3*2+0.25*2+0.35*2=2
第一种中:
S2=0.1(3-2)2+0.3(2-2)2+0.25(3-2)2+0.35(1-2)2
=0.7
第二种中:
S2=0.1(2-2)2+0.3(2-2)2+0.25(2-2)2+0.35(2-2)2
=0
因此，最小方差树是第二种方法。
参考书《数据压缩导论（第4版）》Page 30
6、在本书配套的数据集中有几个图像和语音文件。
（a）编写一段程序，计算其中一些图像和语音文件的一阶熵；
（b）选择一些图像文件，并计算其二阶熵。试解释一阶熵与二阶熵之间的差别；
（c）对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。
|
文件名 |
一阶熵 |
二阶熵 |
差分熵 |
|
BERK.RAW |
7.1515537 |
6.705169 |
8.976150 |
|
EARTH.IMG |
4.770801 |
2.568358 |
3.962697 |
|
GABE.RAW |
7.116338 |
6.654578 |
8.978236 |
|
OMAHA.IMG |
6.942426 |
4.488626 |
6.286834 |
|
SENA.IMG |
6.834299 |
3.625204 |
3.856989 |
|
SENSIN.IMG |
7.317944 |
4.301673 |
4.541547 |
由表格可知：图像文件的二阶熵比一阶熵小，差不多是一阶熵的一半
差分熵在一阶熵和二阶熵之间，比一阶熵小，比二阶熵大