2、利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a）对Sena、Sensin和Omaha图像时行编码。（b）编写一段程序，得到相邻之差，然后利用huffman对差值图像进行编码。
（a）注：压缩比=压缩文件大小/原文件大小
|
文件名 |
原文件大小 |
压缩文件大小 |
压缩比 |
|
OMAHA.IMG |
64KB |
58KB |
90.63% |
|
SENA.IMG |
64KB |
57KB |
89.06% |
|
SINAN.IMG |
64KB |
61KB |
95.31% |
解答：从上表来看，即使原文件类型相同、大小相等，但压缩文件大小、压缩率并不相等。
（b）
4、一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母，概率为P（a1）=0.15，P（a2）=0.04，P（a3）=0.26，P（a4）=0.05，P（a5）=0.50。
（a）计算这个信源的熵。（b）求这个信源的霍夫曼码。（c）求（b）中代码的平均长度及其冗余度。
（a）
（b）
（c）平均码长：L=0.15×3+0.04×4+0.26×2+0.05×4+0.5×1=1.83 Bits/symbol） 冗余度：E=L-H=1.83-1.82=0.01 Bits/symbol
5、一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a）本章概述的第一种过程：（b）最小方差过程。解释这两种霍夫曼码的区别。
（a）
算法步骤：（1）按照符号出现的概率减少的顺序将待编码的符号排成序列（2）从中依次选取概率最小的两个开始（3）上面的赋值为0，下面的赋值为1（或相反）（4）依次操作，直至完成。
|
字母 |
码字 |
概率 |
集合 |
集合的概率 |
|
a1 |
001 |
0.1 |
a1a2a3a4 |
1 |
|
a2 |
01 |
0.3 |
|
|
|
a3 |
000 |
0.25 |
|
|
|
a4 |
1 |
0.35 |
|
|
（b）
解答：a1=00 a2=10 a3=01 a4=11
平均长度为:L=2 （a）的方差为:s12=(0.1+0.25)*(3-2)2+0.3*(2-2)2+0.35*(1-2)2=0.7 （b）的方差为:s22=(0.1+0.25+0.3+0.35)*(2-2)2=0
综上所述：根据最小方差过程：a1,a2,a3,a4的霍夫曼码为：a1=00 a2=10 a3=01 a4=11
区别：这两种霍夫曼编码方式的冗余度相等，但方差不等。方差越大，需要的缓冲容量就越大，应考虑方差较小的编码方式。
6、在本书配套的数据中有几个图像和语音文件。
(a) 编写一段程序，计算其中一些图像和语音文件的一阶熵。(b) 选择一个图像文件，计算其二阶熵。试解释一阶熵与二阶熵的差别。(c) 对于(b)中所有的图像文件，计算其相邻像素之差的熵，试解释你的发现。
(a)
|
文件名 |
文件大小 |
一阶熵（Bits/symbol） |
|
BERK.RAW |
1.09 MB |
7.151537 |
|
GABE.RAW |
1.01 MB |
7.116338 |
|
EARTH.IMG |
64.0KB |
4.770801 |
|
OMAHA.IMG |
64.0KB |
6.942426 |
|
SENA.IMG |
64.0KB |
6.834299 |
|
SENSIN.IMG |
64.0KB |
7.317944 |
(b)
|
文件名 |
一阶熵（Bits/symbol） |
二阶熵（Bits/symbol） |
|
OMAHA.IMG |
6.942426 |
4.488626 |
差别：一阶熵、二阶熵都是求自信息的数学期望，但一阶熵是针对单个字符，例如‘a’，二阶熵是针对两个字符，例如‘aa’，‘ab’。
(c)
|
文件名 |
文件大小 |
一阶熵 |
二阶熵 |
差分熵 |
|
SENA.IMG |
64.0KB |
6.834299 |
3.625204 |
3.856989 |
|
SENSIN.IMG |
64.0KB |
7.317944 |
4.301673 |
4.541547 |
|
EARTH.IMG |
64.0KB |
4.770801 |
2.568358 |
3.962697 |
|
OMAHA.IMG |
64.0KB |
6.942426 |
4.488626 |
6.286834 |
发现：（1）扩展名相同、大小相等的图像文件，所对应一阶熵、二阶熵、差分熵并不相同。（2）扩展名相同、大小相等的图像文件，图像的差分熵是介于一阶熵和二阶熵之间。