发布时间 : 星期三 文章《信息论基础》试卷(期末)(B2卷)更新完毕开始阅读3359972bbd64783e09122bf8
五、(16分)设一个离散无记忆信源的概率空间为
它们通过干扰信道,信道输出端的接收符号集为Y??b1,b2?,已知信道传输概率如下图所示。
试计算:
(1)信源X中事件x1和x2分别含有的自信息量;(2分) (2)收到信息yj(j?1,2)后,获得的关于x1的信息量;(2分) (3)信源X的信息熵;(2分)
(4)条件熵H?Y|x1?,H?Y|x2?;(2分)
(5)共熵H(XY)、信道疑义度H(X|Y)和噪声熵H(Y|X);(6分) (6)收到消息Y后获得的关于信源X的平均信息量。(2分)
《信息论基础》试卷第5页
《信息论基础》试卷第6页
六、(12分)设某信道的传递矩阵为
(1)若输入符号P?x1??P?x2??1/4,P?x3??1/2,求H(X|Y)和I(X;Y)。 (2)计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
《信息论基础》试卷第7页
七、(16分)有一个二元二阶马尔可夫信源,其信源符号集为{0,1},初始概率大小为
12P(0)?,P(1)?。条件概率定为
33P(0|00)?P(1|11)?0.8
P(1|00)?P(0|11)?0.2
P(0|01)?P(0|10)?P(1|01)?P(1|10)?0.5
(1) 画出该信源的状态转移图。 (2) 计算达到稳定后状态的极限概率。 (3) 该马尔可夫信源的极限熵H?。
(4) 计算达到稳定后符号0和1的概率分布。
《信息论基础》试卷答案
一、填空题(共25分,每空1分)
1、连续信源的绝对熵为 无穷大。(或??????p?x?lgp?x?dx?limlg?)
???2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号
的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均
码长就可以降低,从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠
《信息论基础》试卷第8页