第5章 有失真信源編碼

1、第５章第５章有失真信源編碼（信息率失真函數(shù)）有失真信源編碼（信息率失真函數(shù)）離散信源有失真編碼連續(xù)信源有失真編碼5.1信息率－失真函數(shù)的概念信息率－失真函數(shù)的概念在第２章我們證明了當輸入隨機變量的概率分布確定時，互信道是條件轉(zhuǎn)移概率的下凸函數(shù)，即互信息必存在一個最小值。然而，在沒有其它約束條件的情況下，這個最小值就是零。因為一方面互信息總是非負的，另一方面，當輸入和輸出隨機變量相互獨立時互信息等于零。所以研究一般情況下互信息的極小值問題

2、沒有什么意義。無失真信源編碼時，信源的熵是信息率所能達到的下限。在很多實際情況下，要做到完全沒有失真是沒有必要的，特別是對連續(xù)信源編碼，由于信源的絕對熵無窮大，要達到無失真編碼是不可能的。為此，我們有必要研究在滿足某種失真準則下互信息的極小值問題，即信息率－失真函數(shù)。首先看離散信源的情況。設(shè)Ｘ和Ｙ是定義在相同取值域上的離散型隨機變量。失真函數(shù)d(xy)21naaaBA???是定義在上的非負函數(shù)BA?ByAxyYxXdyxd?????)(

3、)(例如，可定義???????jijiaadjidji0)()(?（５.１.１）其物理意義是當輸入和輸出相等時沒有失真，當輸入和輸出不相等時失真是相同的。顯然失真函數(shù)d(xy)是對Ｙ代表Ｘ所引起失真的量度。失真函數(shù)的定義由所研究的客觀問題決定。（５.１.１）式的失真函數(shù)稱為漢明失真準則。失真函數(shù)只定義了若干具體失真的數(shù)值，為了反映隨機變量之間的總體失真情況，我們定義平均失真??)(yxdEd?（５.１.２）對離散型變量???ijjidi

4、jpipd)()|()(（５.１.３）如果Ｘ和Ｙ都是Ｌ維隨機矢量，可定義矢量間的失真為???LlllLyxdLYXd1)(1)(（５.１.４）平均失真?????????LlLllllLLdLyxdELYXdEd111)]([1)(（５.１.５）其中是第個分量的平均失真。ldl如果我們要求平均失真不大于某個定值Ｄ。令表示所有滿足平均失真不??DdijpPD??|)|(當且僅當失真矩陣中每行中至少有一個零時。通常情況下這是能夠做到的。如果，

5、0min?D0min?D只要改變單個符號的失真度，令就可以保證失真矩陣每行至少有一)|(min)|()|(ijdijdijdj??個零，使。對率失真函數(shù)來說，它只是起了坐標平衡的作用。所以假設(shè)并不失一0min?D0min?D般性。Ｄ＝０對應于無失真情況，這時應該有)]([)()0(ipHXHR??但是上式成立是有條件的，它與失真矩陣的形式有關(guān)。只有當失真矩陣中每行至少有一個零，并且每列最多只有一個零時，只有當失真矩陣中每行至少有一個零，

6、并且每列最多只有一個零時，。)()0(XHR?否則Ｒ（０）小于Ｈ（Ｘ），這表示對信源符號集中有些符號進行壓縮、合并，但沒有引入失真（在具體的失真準則之下）。（２）失真函數(shù)的上限maxD定義域的上界定義為??0)(|min)|(max??DRDDijp（５.２.２）必有。由于0)(max?DR)()|(0)(0)(jqijpYXYXIDR??????相互獨立所以??????jijqijjqjidipjqjidjqipD)()()(min)

7、()()(min)()(max令，只要令對應于最小的q(j)等于1，那么??ijidipjD)()()()(jD??ijjidipD)()(minmax（５.２.３）5.2.2Ｒ（Ｄ）函數(shù)的下凸性Ｒ（Ｄ）函數(shù)的下凸性定理５.２.１率失真函數(shù)是定義域上的下凸函數(shù)??maxminDD證明（１）Ｒ（Ｄ）函數(shù)的定義域是凸域。令??maxmin212110)1(DDDDDDD?????????由率失真函數(shù)的定義??)|()]|([min)(1)|