信道容量
信道容量及其一般算法
当信道确定时，(I(X;Y))是(p(a_i)(i = 1,...,r))的函数，这是一个多元函数，并且
[sum_{i=1}^rp(a_i) = 1
]
根据求多元函数极值的方法，我们构建辅助函数
[F[p(a_1), ... , p(a_r), lambda] = I(X;Y) - lambda[sum_{i=1}^r p(a_i) - 1]
]
则要使得(I(X;Y))在条件(sumlimits_{i=1}^rp(a_i) = 1)下取得极值，需要满足
[egin{aligned}
&cfrac{partial F}{partial p(a_i)} = cfrac{partial {I(X;Y) - lambda[sumlimits_{i = 1}^{r}p(a_i) - 1]}}{partial p(a_i)} = 0 \
&sum_{i=1}^rp(a_i) = 1
end{aligned}
]
经过复杂的数学计算，我们得到
[egin{aligned}
&sum_{j=1}^{s}p(b_j/a_i)lncfrac{p(b_j/a_i)}{p(b_j)} = lambda + 1\
&sum_{i=1}^rp(a_i) = 1
end{aligned}
]
对第一个式子乘以(p(a_i))并对(i)求和
[sum_{i = 1}^{r}sum_{j=1}^{s}p(a_i)p(b_j/a_i)lncfrac{p(b_j/a_i)}{p(b_j)} = sum_{i=1}^{r}p(a_i)(lambda + 1)
]
上式的左边即为信道容量(C)的表达式，所以
[C = lambda + 1
]
所以我们又可以得到
[sum_{j=1}^{s}p(b_j/a_i)lncfrac{p(b_j/a_i)}{p(b_j)} = C
]
进行化简可以得到
[sum_{j = 1}^{s}p(b_j/a_i)[C + ln p(b_j)] = sum_{j = 1}^{s}p(b_j/a_i)ln p(b_j/a_i)
]
令
[eta_j = C + ln p(b_j)
]
得到
[sum_{j = 1}^{s}p(b_j/a_i)eta_j = sum_{j = 1}^{s}p(b_j/a_i)ln p(b_j/a_i)
]
这是一个关于(eta_j)的方程组，可以求出(eta_j)，根据(C)与(eta_j)的关系，我们得到
[C = ln{sum_{j = 1}^{s}e^{eta_j}}
]
根据求得的(C)和(eta_j)，代入
[eta_j = C + ln p(b_j)
]
可以求得(p(b_j))，然后根据
[p(b_j) = sum_{i = 1}^{r}p(a_i)p(b_j/a_i)
]
可以解出(p(a_i))，即得到了使(I(X;Y))最大的信源概率分布。
几种无噪信道的信道容量
(H(X|Y) = 0)
该种信道的特点是，其信道概率矩阵每列只有一个非零的数，如下
[egin{array}{*{20}{l}}
{quad quad quad qquad quad {b_1}qquad quad {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu} {b_2}qquad qquad {b_3}qquad qquad {b_4}qquad qquad {b_5}qquad qquad {b_6}qquad qquad {b_7}}\
{[P] = egin{array}{*{20}{c}}
{{a_1}}\
{{a_2}}\
{{a_3}}\
{{a_4}}
end{array}left( {egin{array}{*{20}{c}}
{p({b_1}/{a_1})}&{p({b_2}/{a_1})}&0&0&0&0&0\
0&0&{p({b_3}/{a_2})}&{p({b_4}/{a_2})}&{p({b_5}/{a_2})}&0&0\
0&0&0&0&0&{p({b_6}/{a_3})}&0\
0&0&0&0&0&0&{p({b_7}/{a_4})}
end{array}}
ight)}
end{array}
]
对应的模型为
此时
[I(X;Y) = H(X) - H(X|Y) = H(X)
]
根据信道容量的定义，则
[C = max{I(X;Y)} = max{H(X)} = log r
]
当信源概率分布等概时取等号。
(H(Y|X) = 0)
该信道的特点是，其信道概率矩阵只由(0)或(1)组成
[egin{array}{l}
qquad quad quad\,\,{mkern 1mu} {mkern 1mu} {b_1}\,\,\,\, {b_2}{mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu}\,\, {b_3}{mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu}\, {b_4}\
P = egin{array}{*{20}{c}}
{{a_1}}\
{{a_2}}\
{{a_3}}\
{{a_4}}\
{{a_5}}\
{{a_6}}\
{{a_7}}
end{array}left( {egin{array}{*{20}{c}}
1&0&0&0\
0&0&1&0\
0&1&0&0\
0&0&0&1\
1&0&0&0\
0&0&1&0\
0&1&0&0
end{array}}
ight)
end{array}
]
对应的模型为
此时
[I(X;Y) = H(Y) - H(Y|X) = H(Y)
]
则
[C = max{H(Y)} = log s
]
当输出变量(Y)等概分布时得到，那么信源(X)的分布是什么才能使输出(Y)等概分布呢? 其实匹配的信源并不是唯一的。
几种对称信道的信道容量
强对称信道
我们定义强对称信道的信道概率矩阵为
[egin{array}{l}
qquadqquadquadquad{a_i}quadquadquad{a_2} {mkern 1mu} {mkern 1mu} {mkern 1mu} {mkern 1mu}quad\,\, cdots qquad {a_r}\
[P] = egin{array}{*{20}{c}}
{{a_1}}\
{{a_2}}\
vdots \
{{a_r}}
end{array}left[ {egin{array}{*{20}{c}}
{(1 - epsilon)}&{cfrac{epsilon}{{r - 1}}}& cdots &{cfrac{epsilon}{{r - 1}}}\
{cfrac{epsilon}{{r - 1}}}&{(1 - epsilon)}& cdots &{cfrac{epsilon}{{r - 1}}}\
vdots & vdots & cdots & vdots \
{cfrac{epsilon}{{r - 1}}}&{cfrac{epsilon}{{r - 1}}}& cdots &{(1 - epsilon)}
end{array}}
ight]
end{array}
]
输入随机变量(X)和输出随机变量(Y)的符号数均为(r)，每一个输入符号的总的错误传递概率为(epsilon)的强对称信道。它的信道容量的求法如下
[egin{aligned}
H(Y|X) &= -sum_{i=1}^{r}sum_{j=1}^{r} p(a_i)p(a_j/a_i) log p(a_j/a_i) \
&= ... \
&=H(epsilon) + epsilon log(r-1)
end{aligned}
]
则
[C = max{I(X;Y)} = max{H(Y) - H(Y|X)} = log r - H(epsilon) - epsilon log(r - 1)
]
当输出(Y)等概时取得等号，那个信源(X)什么分布会使得输出(Y)等概，答案是(X)等概，所以我们得到这么一个结论，对于强对称信道，当信源分布等概时，此时(I(X;Y))取得最大值为
[C = log r - H(epsilon) - epsilonlog(r-1)
]