内容发布更新时间 : 2024/6/1 14:26:26星期一 下面是文章的全部内容请认真阅读。

? 推导求条件熵为什么要用联合概率？

先取一个yj，在已知yj条件下，X的条件熵

H(X/yj)为：

H(X/yj)??p(xi/yj)I(xi/yj)???p(xi/yj)log2p(xi/yj)

i?1i?1nn上式为仅知某一个yj时X的条件熵，它随着yj的变化而变化，仍然是一个随机变量。已知所有的yj时X仍然存在的不确定度，应该是进一步把H(X/yj)在Y集合上取数学期望，

H(X/Y)??p(yj)H(X/yj)j?1m????p(yj)p(xi/yj)log2p(xi/yj)j?1i?1mnmn

????p(xiyj)log2p(xi/yj)j?1i?1

? 条件熵是一个确定值，表示信宿在收到Y后，

信源X仍然存在的不确定度。这是由于传输失真造成的； ?

H(X/Y)称为信道疑义度，也称损失熵；

? 条件熵H(Y/X)为噪声熵。

[例2.1.4 条件熵] 已知X，Y?{0,1},XY构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。

解： 根据条件熵公式：

H(X/Y)????p(xiyj)log2p(xi/yj)

j?1i?1mnp(xi/yj)?p(xiyj)2p(yj)

首先求p(yj)??p(xiyj)，有

i?131p(0)?p(y1?0)?p(x1y1?00)?p(x2y1?10)???c881同理可求得p(1)?p(y2?1)?2从而有：p(00)p(x1y1?00)1/81p(0/0)?p(x1?0/y1?0)?????p(1/1)p(0)p(y1?0)1/243p(1/0)?p(0/1)?,4H(X/Y)??p(00)log2p(0/0)??p(01)log2p(0/1)?p(10)log2p(1/0)?p(11)log2p(1/1)133??1???log2?log2??2?0.406484??8

(bit/symbol)? 最大离散熵定理 H(X)?log2n 证明：先证明一个常用不等式：ln x?x-1 用图形表示为：

yy=x-1y=ln x10x-1

1令f(x)=ln x –(x-1) ,则 f(x)?x?1 , 可见当x=1时，

'?1f(x)=0,它是f(x)的极值。且 f(x)?x2?0，故此极值

''为极大值。

所以有： f(x)? f(1)=0 ，当且仅当x=1时取等号。 这时 f(x)=ln x-(x-1) ?0 => lng x≤(x-1) 证法一：

n1H(X)?log2n??p(xi)log2??p(xi)log2np(xi)i?1i?1n

1??p(xi)log2np(xi)i?1n

令x?1利用lnx?x?1,x?0,且log2x?lnxlog2e np(xi)，

n1H(x)?log2n??p(xi)[?1]log2enp(xi)i?11??[?p(xi)]log2ei?1n?0H(X)?log2nqipi ，则有

n

?证法二：现令x?qiqi log(p)?p?1 ， 两边取统计平均值

iiqiqi求得： ?pilogp??pi(p?1)??qi?1?0

iiiii? ??plogpiii???pilogqii当qi??logn

1n结论：等概率分布时熵最大，不确定性最大。故这一定理又被称为离散信源最大熵定理。

? 可加性的证明

H(XY)????p(xiyj)log2p(xiyj)ij????p(xiyj)log2[p(xi)p(yj/xi)]ij????p(xi)p(yj/xi)log2p(xi)???p(xiyj)log2p(yj/xi)ijij?????p(xi)log2p(xi)??p(yj/xi)??H(Y/X)i?j??H(X)?H(Y/X)利用:p(xiyj)?p(xi)p(yj/xi)?p(yjj/xi)?1

? 条件熵不大于信源熵（无条件熵）的证明 证明：

H(X/Y)????p(xiyj)log2p(xi/yj)ij?????p(yj)??p(xi/yj)log2p(xi/yj)?j?i??????p(yj)??p(xi/yj)log2p(xi)?j?i????????p(yj)p(xi/yj)?log2p(xi)i?j????p(xi)log2p(xi)i

?H(X)其中,?p(yj)p(xi/yj)??p(xiyj)?p(xi)jj? 上凸性的证明