連續(xù)信源的數(shù)學(xué)模型及其測(cè)度

1、連續(xù)信源的數(shù)學(xué)模型及其測(cè)度,第五講,信源的數(shù)學(xué)模型,信源的信息測(cè)度,隨機(jī)變量、隨機(jī)序列,簡(jiǎn)單離散信源：H(X), I(X;Y),離散無記憶信源：H ∞(X),離散有記憶信源：H∞(X),= HL(X)=H(X),離散信源,≤ HL(X) ≤ H(X),輸出消息取值上連續(xù)的信源，如語音，電視信源等，對(duì)應(yīng)的數(shù)學(xué)工具為連續(xù)型隨機(jī)變量或隨機(jī)過程。 連續(xù)信源輸出的狀態(tài)概率用概率密度來表示。,,連續(xù)信源的數(shù)學(xué)模型,,,考慮一個(gè)定義在[a,b]

2、區(qū)間的連續(xù)隨機(jī)變量，如下圖,,,,,,,,,,首先把X的取值區(qū)間[a,b]分割為n個(gè)小區(qū)間，小區(qū)間寬度為 △=(b-a)/n，根據(jù)概率分布與概率密度曲線區(qū)間面積的關(guān)系 x取值為第i個(gè)小區(qū)間xi的概率為p(xi).△ ，于是得到離散信源Xn的概率源空間為：,p(x),p(xi) △,a 0 xi

3、 b x,連續(xù)熵,,,其中,按離散信源熵定義,當(dāng)△→0，n→∞時(shí)，Xn接近于連續(xù)隨機(jī)變量X，這時(shí)可得連續(xù)信源的熵為：,絕對(duì)熵,相對(duì)熵,,,,,定義:連續(xù)信源的相對(duì)熵為,1) 相對(duì)熵為絕對(duì)熵減去一個(gè)無窮大量；,2) 相對(duì)熵不具有非負(fù)性，可以為負(fù)值；,4) 連續(xù)信源的絕對(duì)熵為一個(gè)無窮大量，但當(dāng)分析互信 息量時(shí)是求兩個(gè)熵的差，當(dāng)采用相同的量化過程 時(shí)，兩個(gè)無窮大

4、量將被抵消，因而采用相對(duì)熵不影 響分析。,3) 相對(duì)熵不等于一個(gè)消息狀態(tài)具有的平均信息量；,連續(xù)熵,定義：連續(xù)變量的聯(lián)合熵為,定義：連續(xù)變量的條件熵為,連續(xù)熵,連續(xù)變量的聯(lián)合熵、條件熵和互信息之間關(guān)系,連續(xù)熵,定義：平均互信息量為,聯(lián)合平均互信息量,連續(xù)熵,條件平均互信息量,連續(xù)變量X與離散變量Y聯(lián)合聯(lián)合熵、條件熵,連續(xù)熵與平均互信息量,連續(xù)變量X與離散變量Y的平均互信息量,例 令X是在區(qū)間(a，b)上為均勻分布的隨機(jī)變量

5、，求X的熵。解：x的概率密度為 注意:連續(xù)變量的微分熵不具有非負(fù)性當(dāng)b－a>1 時(shí)， b－a<1 時(shí)， b－a=1 時(shí)，,,,,,,例 令X是數(shù)學(xué)期望為m，方差為 的正態(tài)隨機(jī)變量，

6、求它的熵。解：將正態(tài)隨機(jī)變量的概率密度它的值視 的大小可正、可負(fù)或零，且與數(shù)學(xué)期望無關(guān)。,,,,均勻分布的連續(xù)信源的熵：,高斯分布的連續(xù)信源的熵：,連續(xù)熵實(shí)例,僅與區(qū)域的邊界有關(guān),與數(shù)學(xué)期望無關(guān)，僅與方差有關(guān),設(shè)pXY是(xy)二維高斯概率密度函數(shù),,,求X與Y的平均互信息。,連續(xù)熵實(shí)例,例 X 和Y 的一維概率密度函數(shù)容易求得為,,,,,,,X 和Y 之間的平均互信息由定義有

7、 奈特 表明，兩個(gè)高斯變量之間的互信息只與相關(guān)系數(shù)有關(guān)，而與數(shù)學(xué)期望及方差和無關(guān)。,,,,例: 設(shè)原連續(xù)隨機(jī)變量X是數(shù)學(xué)期望為m，方差為 的正態(tài)隨機(jī)變量，經(jīng)一個(gè)放大倍數(shù)為k的放出器放大輸出Y,求Y的熵。解：y=kx為數(shù)學(xué)期望為km,方差為 的正態(tài)隨機(jī)變量，

8、 注意:相對(duì)熵值通過線性放大器后發(fā)生變化.,,,,指數(shù)分布的連續(xù)信源的熵：,連續(xù)熵實(shí)例,連續(xù)熵可為負(fù)值（連續(xù)熵的相對(duì)性所致）可加性平均互信息的非負(fù)性，對(duì)稱性，信息處理定理最大連續(xù)熵定理,連續(xù)熵的性質(zhì),峰值功率受限的最大熵定理 若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對(duì)熵,當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立。,平均功率受限的最大熵定理 若連續(xù)隨機(jī)變量X的方差為一定，則X服從

9、正態(tài)分布時(shí) 的相對(duì)熵最大，即,連續(xù)信源與離散信源不同，1) 它不存在絕對(duì)最大熵;2) 其最大熵與信源的限制條件有關(guān)。,最大連續(xù)熵定理,峰值功率受限的最大熵定理 若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對(duì)熵,當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立。,平均功率受限的最大熵定理 若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時(shí) 的相對(duì)熵最大，即,最大連續(xù)熵定理,,證明：,應(yīng)

10、用拉格朗日乘因子法，首先構(gòu)造函數(shù),由相對(duì)熵定義，可得,,當(dāng)且僅當(dāng),時(shí)，等號(hào)成立。,將其代入約束條件,可得,，則有,于是有,X ∈ (-M,M),峰值功率受限的最大熵定理 若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對(duì)熵,當(dāng)且僅當(dāng)X為均勻分布時(shí)等號(hào)成立。,平均功率受限的最大熵定理 若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時(shí) 的相對(duì)熵最大，即,最大連續(xù)熵定理,,證明：,考慮到約束條件,應(yīng)用拉格

11、朗日乘因子法計(jì)算極大值,當(dāng)且僅當(dāng),時(shí)，等號(hào)成立。,將其代入兩個(gè)約束條件，即可求得,和,于是有,X的方差一定,均值受限的最大熵定理 若連續(xù)隨機(jī)變量X非負(fù)的均值為M，則X服從指數(shù)分布時(shí) 的相對(duì)熵最大，即,最大連續(xù)熵定理,當(dāng)平均功率受限時(shí)，高斯分布信源的熵最大，若令 其平均功率為 ，則其熵為,熵功率,若平均功率為 的信源具有熵為HC(X)，則稱熵為HC(X)的 高斯信源的平均功率為熵功率,若另一信源的平均功

12、率仍為 ，則它的熵一定小于HC(X),連續(xù)信源的剩余度,平均功率受限時(shí)，一般信源的熵小于高斯分布信源的熵，所以信號(hào)的熵功率 總小于信號(hào)的實(shí)際平均功率 。,熵功率的大小可以表示連續(xù)信源剩余的大小。信號(hào)平均功 率和熵功率之差 ，稱為連續(xù)信源的剩余度。,設(shè)二維隨機(jī)變量(X,Y)在區(qū)域 內(nèi)均勻分布，試計(jì)算HC(X) HC(