2.利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
(a)对Sena,Sensin和Omaha图像进行编码
答：
| 文件名 | 压缩前大小 | 压缩后大小 | 压缩比 |
| Sence | 64k | 57k | 0.89 |
| Sensin | 64k | 61k | 0.95 |
| Omaha | 64k | 58k | 0.91 |
4.一个信源从符号集A={a1,a2,a3,a4,a5}中选择字母，概率为P(a1)=0.15,P(a2)=0.04,P(a3)=0.26,P(a4)=0.05,P(a5)=0.50
(a)计算这个信源的熵
(b)求这个信源的霍夫曼码
(c)求(b)中代码的平均长度及其冗余度
答：
（a） H=-P(a1)*logP(a1)-P(a2)*logP(a2)-P(a3)*logP(a3)-P(a4)*logP(a4)-P(a5)*logP(a5)
=0.411+0.186+0.505+0.216+0.5
=1.818
（b）将概率由大到小排列为：a5,a3,a1,a4,a2
所以霍夫曼码为，a1:001,a2:0000,a3:01,a4:0001,a5:1
（c） 平均长度L=0.5*1+0.26*2+0.15*3+(0.04+0.05)*4=1.83
所以冗余度就是L-H=1.83-1.817=0.013
5.一个符号集A={a1,a2,a3,a4},其概率为P(a1)=0.1,P(a2)=0.3,P(a3)=0.25,P(a4)=0.35,使用以下过程找出一种霍夫曼码：
(a)本章概述的第一种过程；
(b)最小方差过程。
解释这两种霍夫曼码的区别。
解：
（a）第一种霍夫曼码
|
符号 |
概率 |
码 |
|
a1 |
0.1 |
000 |
|
a2 |
0.3 |
01 |
|
a3 |
0.25 |
001 |
|
a4 |
0.35 |
1 |
第二种霍夫曼码
|
符号 |
码 |
|
a1 |
11 |
|
a2 |
01 |
|
a3 |
10 |
|
a4 |
00 |
（b）平均码长：
第一种霍夫曼码: L=3*0.1+2*0.3+3*0.25+1*0.35=2
第二种霍夫曼码 ：L=2*0.1+2*0.3+2*0.25+2*0.35=2
方差：
第一种：S2=0.1(3-2)2+0.3(2-2)2+0.25(3-2)2+0.35(1-2)2=0.70
第二种：S2=0.1(2-2)2+0.3(2-2)2+0.25(2-2)2+0.35(2-2)2 =0
可见第二种霍夫曼码较优
参考书《数据压缩导论（第4版）》Page 30 6
2-6. 在本书配套的数据集中有几个图像和语音文件。
(a)编写一段程序，计算其中一些图像和语音文件的一阶熵。
(b)选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。
(c)对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。
解：
|
文件名 |
一阶熵 |
二阶熵 |
差阶熵 |
|
BERK.RAW |
7.151537 |
6.705169 |
8.976150 |
|
EARTH.IMG |
4.770801 |
2.568358 |
3.962697 |
|
GABE.RAW |
7.116338 |
6.654578 |
8.978236 |
|
OMAHA.IMG |
6.942426 |
4.488626 |
6.286834 |
|
SENA.IMG |
6.834299 |
3.625204 |
3.856989 |
|
SENSIN.IMG |
7.317944 |
4.301673 |
4.541597 |