信源編碼離散信源無失真編碼

1、第三章 信源編碼（一）離散信源無失真編碼,,,3.1信源及其分類3.2離散無記憶信源的等長編碼3.3離散無記憶信源的不等長編碼3.4最佳不等長編碼,,無失真編碼限失真編碼,3.1 信源及其分類,,信源及其分類,離散信源連續(xù)信源無記憶信源有記憶信源簡單信源－獨立同分布平穩(wěn)信源，各態(tài)歷經(jīng)源M階記憶源時間離散連續(xù)源隨機波形源,3.2 離散無記憶源的等長編碼,,離散無記憶源,字母表A={a1,…,aK},概率p1,…,p

2、K,長為L的源輸出序列uL={u1,…,uL}，共有KL種序列碼符號字母表B={b1,…,bD},以碼符號表示源輸出序列，D元碼等長D元碼，不等長D元碼單義可譯碼，每個消息都至少有一個碼字與之對應。單義可譯碼存在充要條件DN≥KL N≥LlogK/logD,DMS的等長編碼,NlogD≥LH(U)H(U)是統(tǒng)計平均值，L達到無限時，一個具體的源輸出序列的平均每符號的信息量才等于H(U)選L足夠長，使 NlogD≥L[H(U

3、)+eL],弱、強e典型序列集,信源劃分定理,編碼速率和等長編碼定理,R=(1/L)logM=(N/L)logD, M為碼字總數(shù)對于給定信源和編碼速率R以及任意e>0，若有L0,以及編譯碼方法，使得L>L0,錯誤概率小于e，R是可達的等長編碼定理R>H(U),R是可達的，R<H(U)是不可達的編碼效率h=H(U)/R,3.3 DMS的不等長編碼,,平均碼長,幾個定義,唯一可譯碼逗點碼，無逗點碼字頭或前

4、綴異字頭碼或異前綴碼樹碼，滿樹，非滿樹，全樹樹碼構造異字頭碼,例子,Shannon－Fano編碼,D元碼每次信源符號化為概率近似相等的D個子集這樣可以保證D個碼元近似等概，每個碼字承載的信息量近似最大，碼就近似最短。理想情況I(ak)=nklogD, p(ak)=D-nk,Kraft不等式,不等長編碼定理,3.4最佳不等長編碼,,兩個定理,1.對于給定信源，存在最佳唯一二元可譯碼，最小概率的兩個碼字碼長相等且最長，他們之間僅

5、最后一位不同2. 對輔助集為最佳的碼，對原始集也是最佳的,Huffman編碼,例(0.20,0.19,0.18,0.17,0.15,0.10,0.01),Shannon-Fano-Elias編碼,累計分布函數(shù),修正累計分布函數(shù),Shannon-Fano-Elias編碼,采用 的數(shù)值作為ak的碼字碼長,Shannon-Fano-Elias編碼,Shannon-Fano-Elias編碼,算術碼,算術

6、碼,信源序列(u1u2…un)的累計分布算術編碼是計算序列的累計分布，用累計分布值表示序列，所以稱為算術編碼以二元信源輸出序列的編碼為例01110,算術碼,,P(010),P(011),F(011),,,,P(0110),P(0111),,F(0111),P(01110),P(01111),F(01111),算術碼,信源符號序列u對應區(qū)間的寬度等于符號序列的概率,算術編碼,F(u)將[0,1)分割成許多小區(qū)間，取小區(qū)間內(nèi)的一個點代表

7、該序列，以該點數(shù)值的二進制小數(shù)表示該序列，碼字長度為,算術編碼,例：,P(0)=0.25,P(1)=0.75, u=11111100 P(u=11111100)=0.7560.252L=7F(s)=0.110100100111C=1101010編碼效率92.7%,LZ編碼,利用字典編碼方法信源符號A=(a1…aK)將序列分為不同的段取最短長度的連續(xù)符號構成段，保證互不相同。先取一個符號分段，若與前面段相同，就再取一個符