发布时间 : 星期六 文章信息论与编码理论-第3章信道容量-习题解答-071102更新完毕开始阅读a8f484d3195f312b3169a5eb
信息论与编码理论
容量。
C?max{I(X;Y)}?max{H(Y)?H(Y|X)}p(x)p(x)?max{H[p?(1??1)?(1?p)??2]?p?H(?1)?(1?p)?H(?2)}p(x)
由于函数H（ε）是一个凸函数，有一个性质：
f(???1?(1??)??2)???f(?1)?(1??)?f(?2)
可知：C??
假设?1??2??时此信道是一个二元对称信道，转移概率分布为：
?1??Q???????1???
信道容量：
?1??2??C?1-?log?-(1-?)log(1-?) ?1-H(?)3-5 求下列两个信道的容量，并加以比较。
?1-p-ε??p-εp-ε1-p-ε2ε??2ε? ??p???1?p??p??1?p??2?00???2?
第一个：可以写成：??1-p-ε p-ε??2ε?与????p-ε 1-p-ε??2ε?
bit/符号
C1?1?H(1-p-ε,p-ε,2ε)?(1?2ε)log(1?2ε)?2εlog(4ε)?1?p??第二个：??p??p??1?p??2?00?? 2???2ε 0??1-p-ε p-ε??两个对称形式 ??与?0 2?p-ε 1-p-ε????C2?1?H(1-p-ε,p-ε,2ε,0)?(1?2ε)log(1?2ε)?2εlog(2ε)bit/符号
C1?C2??2ε<0
所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。
5
第3章 信道容量
3-6设信道前向转移概率矩阵为
?1?Q?0???001?pp0??p?1?p??
1）求信道容量和最佳输入概率分布的一般表达式；
2）当p?0和p?1/2时，信道容量分别为多少？并针对计算结果做出说明。 （1）此信道为非对称信道，设输入概率分布为：
?p1,p2, p3? p1+p2+ p3输出概率分布为：
?1
?q1,q2, q3? q1+q2+ q3?1
C?max?I(X;Y)??max[H(Y)?H(Y|X)]q1?p(b1)?p(a1)?p(b1|a1)?p(a2)?p(b1|a2)?p(a3)?p(b1|a3)?p1?1?p2?0?p3?0?p1q2?p(b2)?p(a1)?p(b2|a1)?p(a2)?p(b2|a2)?p(a3)?p(b2|a3)?p1?0?p2?(1?p)?p3?p?p2?(1?p)?p3?pq3?p(b3)?p(a1)?p(b3|a1)?p(a2)?p(b3|a2)?p(a3)?p(b3|a3)?p1?0?p2?p?p3?(1?p)?p2?p?p3?(1?p)
3H(Y|X)???p(xi)p(yj|xi)logp(yj|xi)i,j?1??p1?1?log1?p2?(1?p)log(1?p)?p2?p?logp?p3?plogp?p3?(1?p)log(1?p)??(p2?p3)(1?p)log(1?p)?(p2?p3)plogp
C?max?I(X;Y)??max[H(Y)?H(Y|X)]?max[H(q1,q2,q3)?p2H(p,1?p)?p3H(p,1?p)]
把C对P1，P2，P3 分别求导：
δCδp1=0 δCδp2=0 δCδp3=0，可得：
?log(1?p2?p3)?(1?p)log[p2(1?p)?p3p]?plog[p2p?p3(1?p)]?H(p,1?p)?0??log(1?p2?p3)?(1?p)log[p3(1?p)?p2p]?plog[p3p?p2(1?p)]?H(p,1?p)?06
信息论与编码理论
可得： P2 = P3 log(1?2p2)?logp2?H(p,1?p)?0 可以解得：p2?p3?12H(P,1?P)?2
最佳输入概率分布的表达式为：
211??1?,,?? H(P,1-P)H(P,1-P)H(P,1-P)2?22?22?2??设2H(P,1?P)?2?N则
p1=1?2N p2=p3=1NC?max{H(Y)?H(Y|X)}p(x)
1N?2NH(p)??(1?2N)log(1?2N)?0102Nlog（2）p=0
?10时，Q?????00??0是一个对称信道，当输入等概率分布时可以达?1???111??333?到信道容量，输入转移概率为?,,? N=3，所以C??(1?)log(1?)?332223log13?1.5850 bit/符号
（3）p=1/2
??1?时，Q??0???0??12log14?1201212H(?0??1?2?1??2?，可得N=4，
C??12log1211,)?1 22bit/符号
3-7设BSC信道的前向转移概率矩阵为
?0.98Q???0.020.02?? 0.98?设该信道以1500个二元符号／秒的速度传输输入符号，现在一消息序列共
7
第3章 信道容量
有14000个二元符号，并设在这消息中P(0)?P(1)?1/2，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传输完。 解：BSC信道，且输入为等概率，信道容量
C?1?H(0.98,0.02)?0.8586 bit/符号
14000个二元符号的信息量为：14000符?log2=14000比特
1500符/秒?10秒?0.8568比特/符?12852比特＜14000比特
所以10秒内不能无失真的传输完。
3-8 有m个离散信道，转移概率矩阵分别为Q1,Q2,?,Qm。由这m个离散信道组成一个新信道，称为和信道，其转移概率矩阵为：
?Q1?0?Q?????00Q2?0????0??0? ???Qm?设Ck是第k个离散信道的信道容量。试证明：和信道的信道容量为
mC?log?2k?1Ck
此时第k个信道的使用概率为Pk?2(Ck?C)。
1解：m=2时,转移矩阵变为: Q=??，设两个信道的信道容量分别为：0 Q?2??Q 0?p1,p2并且p1+p2信道的利用率分别为：C1,C2，
n?1，并行信道，有C=C1+C2
p(yj|xi)p(yj)}C?max{I(X;Y)}?max{?p(xi)p(yj|xi)logp(x)p(x)i,j?1n?max{p(x)?i1,j1?1np1p(xi1)p(yj1|xi1)logp(yj1|xi1)p1p(yj1)p(yj2|xi2)p2p(yj2)}
??i2,j2?1p2p(xi2)p(yj2|xi2)log8