ch2例題與證明三

1、?離散平穩(wěn)無記憶信源離散平穩(wěn)無記憶信源X的N次擴展信源的熵為離次擴展信源的熵為離散信源散信源X的熵的的熵的N倍。倍。)()(XNHXHN?證明：求和是對信源中所有個元素求和，可以?NXNn等效成N個求和，而其中的每一個又是對X中的n個元素求和，所以有：????????????????niiniiniiiinininiiXiNNNNNxpxpxpxpxpxpap1111111)()()()()()()(22112121???則共有N項，考

2、察其中第一項112111212222111()log()()()()log()()log()[()()]NNNNNiiiiiiXXnnniiiiiiippxpxpxpxpxpxpxpxpx??????????????????????NNXiiXNppPPXHXX)(log)()(log)()(22??12122222()()log[()()()]()log()()log()...()log()NNNNNNNiiiiXiiiiXXiiXH

3、Xppxpxpxppxppxppx????????????????212()()(1161811618141811618116)3()2()2(141214)HXHXXHbitsymbolHXH?????結(jié)論：計算擴展信源的熵時，不必構(gòu)造新的信結(jié)論：計算擴展信源的熵時，不必構(gòu)造新的信源，可直接從原信源源，可直接從原信源X的熵導(dǎo)出。即離散平穩(wěn)無的熵導(dǎo)出。即離散平穩(wěn)無記憶信源記憶信源X的N次擴展信源的熵為離散信源次擴展信源的熵為離散信源X的