信息論與編碼期末考試題(全套)

1、（一）（一）一、判斷題共一、判斷題共10小題，滿分小題，滿分20分.1.當(dāng)隨機(jī)變量和相互獨(dú)立時(shí)，條件熵XY)|(YXH等于信源熵.（）)(XH2.由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集.（）3.一般情況下，用變長編碼得到的平均碼長比定長編碼大得多.（）4.只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信.（）5.各碼字的長度符合克拉夫特不等式，是唯一可譯

2、碼存在的充分和必要條件.（）6.連續(xù)信源和離散信源的熵都具有非負(fù)性.（）7.信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越小，獲得的信息量就越小.8.漢明碼是一種線性分組碼.（）9.率失真函數(shù)的最小值是.0（）10.必然事件和不可能事件的自信息量都是.0（）二、填空題共二、填空題共6小題，滿分小題，滿分20分.1、碼的檢、糾錯能力取決于.2、信源編碼的目的是；信道編碼的目的是.3、把信息組原封不動地搬到

3、碼字前位的碼就k)(kn叫做.4、香農(nóng)信息論中的三大極限定理是、、.5、設(shè)信道的輸入與輸出隨機(jī)序列分別為和，則XY成立的)()(YXNIYXINN?條件..6、對于香農(nóng)費(fèi)諾編碼、原始香農(nóng)費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是.7、某二元信源，其失真矩陣01()1212XPX?????????????，則該信源的=.00aDa???????maxD三、本題共三、本題共4小題，滿分小題，滿分50分.1、某信源發(fā)送端有2種符號；接收ix)21

4、(?iaxp?)(1端有3種符號，轉(zhuǎn)移概率矩陣為iy)321(?j.12120121414P???????（1）計(jì)算接收端的平均不確定度；()HY（2）計(jì)算由于噪聲產(chǎn)生的不確定度；(|)HYX（3）計(jì)算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如右圖所示，信源的符號集為X.210（1）求信源平穩(wěn)后的概率分布；（2）求此信源的熵；（3）近似地認(rèn)為此信源為無記憶時(shí)，符號的概率分布為平穩(wěn)分布.求近似信源的熵并與進(jìn)行比較.)(X

5、HH?4、設(shè)二元線性分組碼的生成矩陣為)47(.?????????????1000101010011100101100001011G（1）給出該碼的一致校驗(yàn)矩陣，寫出所有的陪集首和與之相對應(yīng)的伴隨式；（2）若接收矢量，試計(jì)算出其對應(yīng)的伴)0001011(?v隨式并按照最小距離譯碼準(zhǔn)則S試著對其譯碼.（二）（二）一、填空題（共一、填空題（共1515分，每空分，每空1分）分）1、信源編碼的主要目的是，信道編碼的主要目的是。0121pp21p

6、p2p2p2p2p21p圖2132、信源的剩余度主要來自兩個方面，一是信源符號間的相關(guān)性，二是信源符號的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小熵為0，最大熵為bit符號。32log4、無失真信源編碼的平均碼長最小理論極限制為信源熵（或H(S)logr=Hr(S)）。5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真

7、信源編碼。8、若連續(xù)信源輸出信號的平均功率為，則輸出信號幅度2?的概率密度是高斯分布或正態(tài)分布或??22212xfxe?????時(shí)，信源具有最大熵，其值為值。21log22e??9、在下面空格中選擇填入數(shù)學(xué)符號“”或“”?????（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)H(XY)=H(Y)H(X)。（2）????1222HXXHX??????12333HXXXHX?（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H

8、(XY)0H(YX)=0I(XY)H(X)。三、（16分）已知信源1234560.20.20.20.20.10.1SssssssP?????????????（1）用霍夫曼編碼法編成二進(jìn)制變長碼；（6分）（2）計(jì)算平均碼長（4分）L（3）計(jì)算編碼信息率（2分）R?（4）計(jì)算編碼后信息傳輸率（2分）R（5）計(jì)算編碼效率。（2分）?（1）01010100111.00.20.20.20.20.10.11S2S3S4S5S6S編碼結(jié)果為：1234

9、560001100101110111SSSSSS??????（2）610.420.632.6iiiLP?????????碼元符號（3）bitlogr=2.6RL??符號（4）其中，??2.53bit0.9732.6HSRL???碼元????bit0.20.20.20.20.10.12.53HSH??符號（5）????0.973logHSHSLrL????評分：其他正確的編碼方案：1，要求為即時(shí)碼2，平均碼長最短四、（10分）某信源輸出A

10、、B、C、D、E五種符號，每一個符號獨(dú)立出現(xiàn)，出現(xiàn)概率分別為18、18、18、12、18。如果符號的碼元寬度為0.5。計(jì)算：s?（1）信息傳輸速率。（5分）tR（1）????1tXRHXHYt????????61111log4log882211log8log22231log2log2222log22bit24100.5tHXbitRbpss??????????????五、(16分)一個一階馬爾可夫信源，轉(zhuǎn)移概率為。????????112