发布时间 : 星期一 文章第二章 信息的度量 - 图文更新完毕开始阅读5baa88c4de80d4d8d05a4fc5
2.1.1 自信息
对于联合事件（多维随机变量）：
联合自信息量: 二维联合集XY上元素( xi yj )的自信息量定义为
1I(xiyj)?log??logp(xiyj)p(xiyj)其中，xiyj是积事件；
p(xiyj) 是二维联合概率。
条件自信息量: 若事件xi在事件yj给定条件下的概率为p(xi| yj)，则其条件自信息量定义为
1I(xi|yj)?log??logp(xi|yj)p(xi|yj)2.1.2互信息
定义：一个事件yj所给出关于另一个事件xi的信息定义为互信
息，用I(xi ;yj)表示。
defI(xi ;yj)?I(xi)?I(xi |yj)?logp(xi |yj)p(xi)含义：互信息I(xi ;yj)是已知事件yj后所消除的关于事件xi的不确定性，它等于事件xi本身的不确定性I(xi)减去已知事件yj后对xi仍然存在的不确定性I(xi|yj)。
2.1.2
理解：
信源互信息
干扰或噪声
消息信道p(xi)信宿xiI(xi)yjpxiyj??I(xi|yj)因此，已知事件yj后所消除的关于事件xi的不确定性为：
I?xi??Ixiyj??p(xi |yj)p(xi)即：
I(xi ;yj)?I(xi)?I(xi |yj)?logdef2.1.2互信息
消息信道p(xi)特例（无干扰信道）：
信源信宿=1pxiyjxiI(xi)yj??=0I(xi|yj)因此，已知事件yj后所消除的关于事件xi的不确定性为：I?xi??Ixiyj?I?xi???即：I?xi;yj??I?xi?