发布时间 : 星期六 文章2 11-12 信息论与编码 试卷A 答案更新完毕开始阅读b4578afabe23482fb5da4c2a
暨 南 大 学 考 试 试 卷
20 12 - 20 13 学年度第 一 学期 教 课程名称： 信息论与编码 师 填 授课教师姓名： 谭晓青 写 考试时间: 2013 年 1 月 16 日 课程类别 必修[ √ ] 选修[ ] 考试方式 开卷[ ] 闭卷[ √ ] 试卷类别(A、B) [ A ] 共 8 页 考 生 填 写 学院(校) 专业 班(级) 姓名 学号 内招[ ] 外招[ ] 题 号 得 分 一 二 三 四 五 六 七 八 九 十 总 分 得分 评阅人 一、选择题（共5小题，每小题3分，共15分）
1. 下列关于离散随机变量X信息熵H(X)的论断中错误的是（ D ）。
A、信息熵表示了信源输出前，信源的平均不确定性；
B、信息熵是其概率空间中每个事件所含有的自信息量的数学期望； C、信息熵表示了信源输出后，每个消息或符号所提供的平均信息量； D、信息熵并不反映随机变量X的随机性。
2. 对于连续信源X，若平均功率受限（方差受限）时，则其概率密度函数是
（ A ）时，差熵具有最大值。
A、高斯分布 B、均匀分布 C、三角分布 D、非均匀分布
3. 下图给出了两个离散信源X、Y的概率空间，其熵值间满足（ B ）。
x2x3x4??X??x1??p(x)??0.150.250.40.2?????y2y3y4??Y??y1??p(y)??0.250.250.250.25?
????A、H(X)> H(Y) B、H(X)< H(Y) C、2H(X) =H(Y) D、H(X) =2H(Y)
第 1 页 共 8 页
暨南大学《信息论与编码》试卷A 参考答案 考生姓名、学号：
??101??U???111??11?，其失真矩?4. 某无记忆信源U为?，接收符号V???p(u)??,????22??333??12?阵D??11?，则该信源的Dmax= （ A ）。
????21??A、
4215 B、 C、 D、 3333?1?5. 某一信道，其输入U的符号集为?0,,1?，输出Y的符号集为?0,1?，信道
?2??1?1矩阵P???2?0?0?1??，现有四个消息的信源通过这信道传输（消息等概率出现）。2?1??若对信源进行编码，我们选这样一种码
??11??C:??x1,x2,,??xi?0或1(i?1,2)
22????其码长为n?4。这样编码后信息传输率等于（ B ）。
1112A、 B、 C、 D、
3243
得分 评阅人 二、填空题（共5小题，每小题3分，共15分）
1. 对于离散有噪无损信道，用r表示输入变量X的符号个数，用s表示输出变
量Y的符号个数，其信道容量C =
logr。
xm2. 若连续信源X的取值区间为[0,?)，其概率密度函数为p(x)?e?m，
其中x?0，m是X的数学期望，则连续信源X的差熵HC(X)?log2me。
3. 有噪信道编码定理：有噪信道的信道容量为C，若信息传输率R?C，只
要码长n 足够长 ，必存在一种信道编码和相应的译码规则，使译码平均错误概率PE为 任意小 。
第 2 页 共 8 页
暨南大学《信息论与编码》试卷A 参考答案 考生姓名、学号：
4. 已知在GF(2)[x]上有x7?1?(x?1)(x3?x2?1)(x3?x?1)，构造(7, 4)循环码可
以选择生成多项式g(x)=
5. 若纠错码的最小距离为dmin，要检测f个随机错误，则要求
要纠正e个随机错误，则要求则要求
(x3?x?1)或(x3?x2?1)。
；
dmin?f?1dmin?2e?1；要纠正e个同时检测f个随机错误，
dmin?e?f?1。
得分 评阅人 三、计算题（共6小题，每小题10分，共60分）
1. 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；（3分）
(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100–m）个“1”）的自信息量的表达式；（4分） (3) 计算(2)中序列的熵。（3分） 解：(1)
133??1H(X)???p(xi)logp(xi)???log?log??0.811 bit/symbol 。。。。。。。。。。。。。3分
444??4i(2)
?1??3?p(xi)???????4??4?m100?m3100?m?10043?41.5?1.585m bit1004100?m 。。。。。。。。。。。。。4分
I(xi)??logp(xi)??log(3)
H(X100)?100H(X)?100?0.811?81.1 bit/symbol 。。。。。。。。。。。。。3分
s2?1?s1?s2s1?2. 求下列可抹信道的容量，其条件概率P(Y/X)为??。 ss1?s?s?2112?解：可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：
第 3 页 共 8 页
暨南大学《信息论与编码》试卷A 参考答案 考生姓名、学号：
s2?1?s1?s2??s1?M1???,M2??s?s1?s?s212???1?C?maxI(X;Y)???mkp(yk)log2p(yk)?Hmik?1s?p(y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?(1?s1?s2)/2?s2/2??1?s1?/2??p(y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?s2/2?(1?s1?s2)/2??1?s1?/2?p(y)?p(x)p(y/x)?p(x)p(y/x)?s/2?s/2?s3131232111?p(yk)?p(yj)?Mk?p(y)jmkp(yj)?M1?p(y)jp(y1)?m1p(yj)?M2?jp(y1)?p(y2)??1?s1?/22p(y3)?s117分
?p(y)m2?p(y2)?2C???mkp(yk)log2p(yk)?Hmik?1
1?s11?s1?log2?s1log2s1)?[(1?s1?s2)log2(1?s1?s2)?s1log2s1?s2log2s2]22 3分
1?s1??(1?s1)log2?(1?s1?s2)log2(1?s1?s2)?s2log2s2bit/symbol2??(2?
x3x4x5x6x7??X??x1x23. 对信源：?编三进制哈夫曼码，???0.20.190.180.170.150.10.01?，P(X)????并计算平均码长和码率。
解：三进制哈夫曼码： 。。。。。。。。。。。。。7分
xi s3 s2 s1 x1 x2 x3 x x5 x6 x7 p(xi) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 0 1 2 0.26 编码 0 1 2 1 0.54 0 1 2 码字 2 00 01 02 10 11 12 ki 1 2 2 2 2 2 2 第 4 页 共 8 页