2020信息论与编码

流水账流水账这篇什么都不是

目录

• 第一部分————笔记
• 基础
• 马尔科夫信源
• 信源剩余度
• 离散信道
  • • 计算信道容量的方法
    • 常见信道的平均互信息和信道容量
• 平均互信息
• 扩展
• 波形信源和波形信道
• 差熵的性质
• 最大差熵定理
• 连续信源熵的变换
• 第二部分————期末选填复习
  • • 简答题

第一部分————笔记

基础

对应的是 这里的韦恩图是信息量(可能出现负数)，而不是事件的逻辑交并！

X-Y 条件信息

Y-X 条件信息

$X\and Y $ 互信息

\(X\or Y\) 联合信息

X和Y两事件独立，则韦恩图不交

X为方片概率，Y为红色概率，\(H(X)=2\)，\(H(Y)=1\)，\(I(X;Y)=1\)

X为红桃，Y为黑桃，\(H(X)=2,H(Y)=2,I(X;Y)=？？？\)

X为方片，Y为3，两事件独立，\(I(X;Y)=0\)

 

 

信息熵定义： 信源的平均自信息量。自信息量的统计平均值。

离散信息熵非负。

对称性。分布做（置换？)后信息熵不变

确定性。\(H(1,0,...,0)=0\)

扩展性。虽然，概率很小的事件一旦出现，给予收信者较多的信息。 但从总体来考虑，因为这种概率很小的事件很难出现，所以它在熵的计算中占的比重很小

极值性质。(因为\(xln(x)\)在(0,1)是下凸的)

可加性和强可加性。\(H(P(p_1,...,p_n))\) 输入向量，输出实值 这个函数是上凸的

\[H[\alpha P+(1-\alpha)Q]\geq \alpha H(P)+(1-\alpha)H(Q) \]

  
离散无记忆扩展信源的信源熵，\(H(X^N)=N\cdot H(X)\)举例

\(H(p^2,p(1-p),(1-p)p,(1-p)^2)=2H(p,1-p)\)

 

 

所谓平稳是指序列的统计性质与时间的推移无关。如在时刻 \(t_1\) ， \(p(x(t_1))\) 呈以下分布，那么在任意时刻 \(t_m\) ，概率分布函数 \(p(x(t_m))\) 还长这样，它是与时间无关的。

遍历的随机过程，实际上是说时间上平均等于统计平均。

遍历一定平稳。 遍历比平稳更强。

 

离散平稳信源的信息测度

下面的对象都是随机序列\(X_{1} X_{2} \cdots X_{N-1} X_{N}\)

(1)联合熵 \(H\left(X_{1} X_{2} \cdots X_{N}\right)=-\sum_{i} \cdots \sum_{i_N} P\left(a_{i_{1}} a_{i_{2}} \cdots a_{i_{N}}\right) \log P\left(a_{i_{1}} a_{i_{2}} \cdots a_{i_{N}}\right)\)

(2)平均符号熵 \(H_{N}(\boldsymbol{X})=\frac{1}{N} H\left(X_{1} X_{2} \cdots X_{N}\right)\)

举例，\(H_{2}(\boldsymbol{X})=\frac{1}{2} H\left(X_{1} X_{2} \right)\)

\(H_{3}(\boldsymbol{X})=\frac{1}{3} H\left(X_{1} X_{2} X_{3}\right)\)

(3)条件熵 加的权要分清楚，权和1

\[\begin{array}{c} H\left(X_{n} \mid X_{1} X_{2} \cdots X_{n-1}\right)=-\sum_{i_{1} \cdot i_{2}, \cdots, i_{n}} P\left(a_{i_{1}} a_{i_{2}} \cdots a_{i_{n}}\right) \log P\left(a_{i_{n}} \mid a_{i_{1}} a_{i_{2}} \cdots a_{i_{n-1}}\right) \\ \text {其中 } n=2,3, \cdots, N \end{array} \]

(4)极限熵 \(N\to\infty\)的平均符号熵 \(H_{\infty}=\lim _{N \rightarrow \infty} H_{N}(\boldsymbol{X})=\lim _{N \rightarrow \infty} H\left(X_{N} \mid X_{1} X_{2} \cdots X_{N-1}\right)\)

 

 

离散有记忆信源是平稳信源时，也能用极限下的条件熵计算极限熵

 

马尔科夫信源

时齐遍历马尔可夫信源，若状态的马尔科夫链的极限概率存在，它的信息熵为

\[H_{\infty}=\sum_{i=1}^{J} Q\left(E_{i}\right) H\left(X \mid E_{i}\right)=-\sum_{i=1}^{J} \sum_{k=1}^{q} Q\left(E_{i}\right) P\left(a_{k} \mid E_{i}\right) \log P\left(a_{k} \mid E_{i}\right) \]

其中\(E_i\)为信源状态，\(Q(E_i)\)为状态的极限概率

 

马尔可夫信源信息熵的求解步骤
一般求解马尔可夫信源信息熵分为三个步骤：
（1）根据题意画出状态转移图，判断是否为时齐遍历马尔可夫信源；
（2）根据状态转移图写出一步转移概率矩阵，计算信源的极限概率\(Q(E_i)\)；
（3）根据一步转移概率矩阵和极限概率\(Q(E_i)\)计算信源的信息熵。

信源剩余度

根据最大离散熵定理，离散信源的符号为等概率分布时，信息熵有最大值，记为\(H_0\)。

\[H_0=\max\limits_{p_i}H(X)=\log q \]

对于离散信源有

\[H_{\infty} \leqslant \cdots \leqslant H_{m+1} \leqslant H_{m} \leqslant \cdots \leqslant H_{2} \leqslant H_{1} \leqslant H_{0} \]

定义熵的相对率\(\eta<1\)

\[\eta=\frac{H_{\infty}}{H_{0}} \]

信源剩余度\(\gamma=1-\eta\)，或者称信源冗余度。

信源输出符号之间依赖关系越长，相关性就越强，信息摘H。就越小，信源的剩余变也就越大。

信源剩余度是进行无失真信源压缩编码的理论依据。它表示了信源可以无失真压缩程度。

减少或消除信源剩余度可提高信息传输效率；

而增加剩余度可提高信息传输抗干扰能力。

通信的效率问题和可靠性问题往往是一对矛盾。

离散信道

离散无记忆信道的最大信息传输率称为此离散无记忆信道的信道容量（不同输入概率分布下的互信息的最大值） 单位可以取bit/符号

\[C=\max\limits_{P(x)}\{I(X;Y)\} \]

对应的输入概率分布\(P(x)\)称为最佳输入分布

观察者站在输出端

\[I(X,Y)=H(X)-H(X|Y) \]

观察者站在输入端

\[I(X;Y)=H(Y)-H(Y|X) \]

观察者站在信道

\[I(X;Y)=H(X)+H(Y)-H(XY) \]

信道转移矩阵 行和为1

行数是输入符号数，列数是输出符号数

BSC二元对称信道，信道特性为q

当输入概率等可能分布时，达到信道容量\(C=1-H(q)\)

计算信道容量的方法

一般信道容量的计算-程序 https://blog.csdn.net/DyKwok/article/details/50726393

常见信道的平均互信息和信道容量

有噪无损说的是像这样的 1-1 1-2 2-3 2-4 2-5 3-6

无噪有损说的是像这样的 1-1 2-1 3-2 4-2 5-2 6-3 7-3

\(||A||\)数行数，\(||B||\)数列数

划重点！！ 除3以外，上述所有信道的最佳输入分布都是等概率分布；3的情况是，最佳输入分布使得输出等概率分布

7也可以这么求：让输入等概率分布，计算

\[C=[H(Y)]_{p(x_i)等概率}-H(\bold{P}的行向量) \]

平均互信息

对称性 \(I(X;Y)=I(Y;X)\)

非负性 \(I(X;Y)\geq 0\)

极值性 \(I(X;Y)\leq H(X)\) \(I(X;Y)\leq H(Y)\)

凸函数性

\(I(X;Y)\)是信源概率分布\(p(\bold{x})\)的上凸函数

\(I(X;Y)\)是信道传递概率\(p(\bold{y}|\bold{x})\)的下凸函数

 
研究这样的instance：输入概率分布p,1-p，信道是对称信道

结论1

当固定信道特性时，可得\(I(X;Y)\) 是信源特性p的上凸函数，

如果正好是对称信道，输入概率分布\(p=1/2\)时达到信道容量

结论2

当固定信源特性时，可得\(I(X;Y)\) 是信道特性q的下凸函数，

信道特性\(q=1/2\)时是最差的信道

扩展

离散无记忆信道DMC

波形信源和波形信道

连续信源的信息熵

\[H(X)=-\sum\limits_{i=1}^{n}p(x_i)\Delta\log_2p(x_i)\Delta \]

右端第一项一般是定值，而第二项在$\Delta\to 0 $时是一无限大量。丢掉后一项，定义连续信源的差熵(即相对熵，微分熵)为

\[h(X)=-\int_Rp(x)\log_2p(x)dx \]

连续信源的信息熵有无穷大量，并不是实际信源输出的绝对熵

在实际问题中常常讨论的是熵之间的差值问题，如信息变差，信道容量之类，运算时两个无穷大量消去了，所以\(h(X)\)叫做相对熵

差熵的性质

1.可加性

2.上凸性和极值性

3.差熵可为负值 不存在非负性

4.变换性 连续信源输出的随机变量(或随机矢量)通过确定的一一对应变换，其差熵发生变化。但对于离散信源来说，其信息熵是不变的。

最大差熵定理

限峰值功率的最大熵定理 (取值幅度受限) N维均匀分布时取得

限平均功率的最大熵定理 (方差受限) N维高斯分布时取得

连续信源熵的变换

第二部分————期末选填复习

香农第一编码定理 即 无失真变长信源编码定理 \(\bar{K_L}/L\geq H(X)/log_2(m)\)
香农第二编码定理 即 有噪信道编码定理
香农第三编码定理 即 保真度准则下的信源编码定理 信源的信息率R＞率失真函数R(D)

解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？
等长信源编码定理：
对于任意\(\epsilon>0,\delta>0\),只要\(K/L*log_2(m)\geq H(X)+\epsilon\),则当\(L\)足够长时必可使译码差错\(<\delta\)
无失真变长信源编码定理：
只要\(\bar{K_L}/L\geq H(X)/log_2(m)\),一定存在一种无失真编码
都为H(X)/log_{2}m
编码效率最高可达100%

在无失真的信源中，信源输出由 H(X)来度量
在有失真的信源中，信源输出由 R（D）来度量

为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布 √

某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量 ×

确定性信源的熵 \(H(0,0,0,1)=1\) × 应该是0

互信息是输入概率分布的上凸函数，是p（y|x）的下凸函数 √

噪声功率相同的加性信道中以高斯噪声信道容量最小 √

R(D)是D的下凸函数 √

如果信源和失真度一定，则 平均失真度D是 信道统计特性 的函数 √

转移概率不随时间变化的Markov链是 齐次的 √
平稳是说 任意时刻去看，概率分布都是一样的
遍历比平稳更严格， 要求统计平均等于时间平均 举例：12个骰子各投1次，和1个骰子投12次的平均值是一样的

记号规定：
齐次马尔可夫信源的一步转移概率矩阵为P，稳态分布为W，则有W=WP

R≥H 等价于 存在无失真信源编码
R≤C 等价于 存在译码差错任意小的信道编码 （取等号时我们称 信源与信道达到匹配）
R≥R（D） 等价于 存在平均失真

满足格拉夫特不等式的信源是惟一可译码 × 是唯一可译码存在的条件

狭义的信道编码 即：检错、纠错编码 √

按树图法构成的码一定满足 即时码 的定义 √

任意两个典型序列的联合是典型序列 ×

对于离散无记忆信道，达到容量时输入概率分布是唯一的 ×
对称信道，达到容量时，输入概率分布和输出概率分布是唯一的 √

通过一一变换后，连续信源的差熵一定会变化 × 应该是可能会变化

一个最小距离为d的二元分组码纠错能力为[(d-1)/2]

Dmax=min_{j}[\sum_{i}P(u_i)d(u_i,v_j)]
Dmin=\sum_{i}[min_{j}P(u,i)d(u_i,v_j)]
R（D）是满足D准则下平均传送每信源符号的所需的最少比特数，它是定义域上的严格递减函数

\[R(D)=\min\limits_{p(v_j|u_i)\in R_B}I(U;V) \]

BSC 信道容量 C=1-H(p)

准对称信道的信道容量在输入等概率时候取到
计算公式是：当输入等概时， I（X;Y）=H(Y)-H（Y|X）

幅度受限 的最大差熵 Log(b-a) 在均匀分布时取到
功率受限 的最大差熵 1/2Log(2\pie*\sigma^2)，在正态分布时取到

Kraft公式 是判断【唯一可译码存在】的充要条件
m个符号
n个码字，长度分别是k_i
\sum[m^{-k_i}]<=1

信道疑义度 H(X|Y) 损失熵
H(Y|X) 噪声熵

数据处理定理：在信息处理过程中熵不会增加 I(X;Z)<=I(X;Y) I(X;Z)<=I(Y;Z)
逐级下去，最后 I（发送；接收）趋于0

最大似然译码准则 p（v|u）最大 （ 看信道矩阵，每列的各个元素中找最大值）
最大后验概率译码准则（最小错误译码准则） p（u|v）最大 （用贝叶斯方便计算，p（xy）每列的各元素找最大值）
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：
输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。

信源符号的相关程度越大，信源的符号熵越小，信源的剩余度越大
离散信源存在剩余度的原因是 信源有记忆（即输出符号之间存在相关性）,和 不等概率

信源编码提高有效性，信道编码提高安全性，安全编码提高安全性

随机事件合并后，使获得的信息量减少 （当然，log r）

H（XY）=H(X）+H（Y|X）=H（X）+H（Y）-I（X;Y）

必然事件的自信息量是0 -1*log(1/1)=0
不可能事件的自信息是∞

非奇异码一定是唯一可译码 ×
唯一可译码一定 非奇异

汉明码是一种线性分组码 √

线性码一定包含全零码 √

一般情况下，用变长编码 得到的平均码长比定长编码 小得多 √

相互独立 p(xy)=p(x)p(y)
此时 信道不传信息 I（X;Y）=0 H(X|Y)=H(X)

三进制信源的最小熵为 0，最大熵为 log_2(3) 没什么意思，想象那个上凸曲线

傻逼填空题
根据是否允许失真，信源编码可分为 无失真编码定理 和 限失真编码定理
根据信道特性是否随时间变化 信道可以分为 恒参信道 和 随参信道
分组码是 前向纠错码
对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其他唯一可译的平均码长，则称 该码为 紧致码或最佳码
信息按其性质可分为 语法信息、语义信息和语用信息

Wlog(1+SNR) 当Eb/N0 为-1.6dB时，信道完全丧失了通信能力

无失真信源编码的平均码长最小理论极限为 信源熵，此时编码效率为1

Shannon编码
Fano编码
Huffman编码
之后可能会让你算个
编码后的信息率R=\bar{L}/N*log(r) \bar{L}是平均码长，N是N次扩展，r是r元
之后可能然后你算编码效率 \eta=H(X)/R

简答题

简述离散信源和连续信源的最大熵定理。
离散无记忆信源，等概率分布时熵最大。
连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。

什么是 奇异码？
包含相同码字的码组称为奇异码

码距
两个等长码字之间对应码元不同的数目。