参考书《数据压缩导论(第4版)》Page 66
2 利用程序huff_enc和huff_dec进行以下操作(在每种情况下,利用0由被压缩图像生成的码本)。
(a)对Sena、Sensin和Omaha图像时行编码。
(b)编写一段程序,得到相邻之差,然后利用huffman对差值图像进行编码。
(c) 使用adap_huff重复(a)和(b)。
给出以上每一个试验得出的文件大小,并解释其差别。
我的答案如下:
文件名(IMG) | 压缩前文件大小(字节) | 压缩后文件大小(字节) | 压缩比 |
SENA | 64.0 | 56.1 | 1.14 |
SINAN | 64.0 | 60.2 | 1.06 |
OMAHA | 64.0 | 57.0 | 1.12 |
4 一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母,概率为P(a1)=0.15,P(a2)=0.04,P(a3)=0.26,P(a4)=0.05,P(a5)=0.50。
(a)计算这个信源的熵。
(b)求这个信源的霍夫曼码。
(c)求(b)中代码的平均长度及其冗余度。
我的答案如下:
(a) H=Σ P(Ai) logb1/P(Ai)=0.15*log21/0.15+0.04*log21/0.04+0.26*log21/0.26+0.05*log21/0.05+0.50*log21/0.50=1.8
(b)
1)
字母 | 概率 | 码字 | |
a5 | 0.50 | Ca5 | |
a3 | 0.26 | Ca3 | |
a1 | 0.15 | Ca1 | |
a4 | 0.05 | Ca4 | =a1*0 |
a2 | 0.04 | Ca2 | =a1*1 |
2)
字母 | 概率 | 码字 | |
a5 | 0.50 | Ca5 | |
a3 | 0.26 | Ca3 | |
a1 | 0.15 | Ca1 | =a2*0 |
a6 | 0.09 | a1 | =a2*1 |
3)
字母 | 概率 | 码字 | |
a5 | 0.50 | Ca5 | |
a3 | 0.26 | Ca3 | =a3*0 |
a7 | 0.24 | a2 | =a3*1 |
4)
字母 | 概率 | 码字 | |
a8 | 0.50 | a3 | =0 |
a5 | 0.50 | Ca5 | =1 |
由上 1)2)3)4)可得霍夫曼编码如下表:
字母 | 概率 | 码字 |
a5 | 0.50 | 1 |
a3 | 0.26 | 00 |
a1 | 0.15 | 010 |
a4 | 0.05 | 0110 |
a2 | 0.04 | 0111 |
(C)
平均长度 l=0.50*1+0.26*2+0.15*3+0.05*4+0.04*4=1.83比特/符号
冗余度=H-l=1.8-1.83=-0.03
因为冗余度为负值,所以这。。。。。
5 一个符号集A={a1, a2, a3, a4,},其概率为P(a1)=0.1,P(a2)=0.3,P(a3)=0.25,P(a4)=0.35,使用以下过程找出一种霍夫曼码:
(a)本章概述的第一种过程:
(b)最小方差过程。
解释这两种霍夫曼码的区别。
我的答案如下:
(a)操作如下:
1)
字母 | 概率 | 码字 | |
a4 | 0.35 | Ca4 | |
a2 | 0.3 | Ca2 | |
a3 | 0.25 | Ca3 | =a1*0 |
a1 | 0.1 | Ca1 | =a1*1 |
2)
字母 | 概率 | 码字 | |
a4 | 0.35 | Ca5 | |
a5 | 0.35 | a1 | =a2*0 |
a2 | 0.3 | Ca2 | =a2*1 |
3)
字母 | 概率 | 码字 | |
a6 | 0.65 | a2 | =0 |
a4 | 0.35 | Ca4 | =1 |
由上 1) 2) 3)可得如下霍夫曼编码:
字母 | 概率 | 码字 |
a4 | 0.35 | 1 |
a2 | 0.3 | 01 |
a3 | 0.25 | 000 |
a1 | 0.1 | 001 |
(b)最小方差霍夫曼编码过程如下:
1)
字母 | 概率 | 码字 | |
a4 | 0.35 | Ca4 | |
a2 | 0.3 | Ca2 | |
a3 | 0.25 | Ca3 | =a1*0 |
a1 | 0.1 | Ca1 | =a1*1 |
2)
字母 | 概率 | 码字 | |
a5 | 0.35 | a1 | |
a4 | 0.35 | Ca4 | =a2*0 |
a2 | 0.3 | Ca2 | =a2*1 |
3)
字母 | 概率 | 码字 | |
a6 | 0.65 | a2 | =0 |
a5 | 0.35 | a1 | =1 |
由上 1) 2) 3)可得如下最小方差霍夫曼编码:
字母 | 概率 | 码字 |
a4 | 0.35 | 00 |
a2 | 0.3 | 01 |
a3 | 0.25 | 10 |
a1 | 0.1 | 11 |
以上两种过程比较,后一种在重排序时将得到的新一个元素放在尽可能高的位置,同时使用第二种方法可以减少赤字。
6、 参考书《数据压缩导论(第4版)》 Page 30
6. 在本书配套的数据集中有几个图像和语音文件。
(a)编写一段程序,计算其中一些图像和语音文件的一阶熵。
(b)选择一个图像文件,并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。
(c)对于(b)中所用的图像文件,计算其相邻像素之差的熵。试解释你的发现。
我的 答案如下:
(a) 图像的一阶熵如下:
语音文件的一阶熵如下:
(b)我选择的图像文件为SENSIN.IMG,其一阶熵为7.317944
二阶熵为:4.301673
从上图可知,图像的一阶熵比二阶熵要大很多。文件经过二阶压缩处理可以增大压缩度,减少存储空间。
(c)一阶熵为7.317944 , 二阶熵为:4.301673 ,差分熵为4.541547
经过比较,差分熵介于一阶熵和二阶熵之间。对一阶熵来说,差分熵还算比较理想的压缩算法。