lms算法畢業(yè)論文

1、<p><b>　　lms算法畢業(yè)論文</b></p><p><b>　　LMS算法研究</b></p><p>　　專(zhuān) 業(yè)：通信工程</p><p><b>　　摘 要</b></p><p>　　因LMS算法具有低計(jì)算復(fù)雜度、在平穩(wěn)環(huán)境中的收斂性好、

2、其均值無(wú)偏地收斂到wiener解和利用有限精度實(shí)現(xiàn)算法時(shí)的穩(wěn)定性等特性，使LMS算法成為自適應(yīng)算法中應(yīng)用最廣泛的算法。對(duì)LMS算法及其改進(jìn)算法進(jìn)行了研究，探討了步長(zhǎng)因子對(duì)各種算法收斂性、穩(wěn)定性的影響。并用MATLAB對(duì)其學(xué)習(xí)曲線、收斂速度等進(jìn)行了仿真分析。結(jié)果表明，變步長(zhǎng)的取值尤為重要，如果μ（n）取較大值則具有較快的收斂速度，如果μ（n）取值很小，則MLMS算法近似等效于LMS算法。它們的自適應(yīng)過(guò)程較快，性能有了很大改進(jìn)。</p

3、><p><b>　　Abstract</b></p><p>　　Because of low computational complexity, stable environment in the convergence of good, unbiased and its mean converges to the wiener solution and implem

4、entation algorithms using finite precision stability and other characteristics, LMS algorithm as adaptive algorithm in the application of the most a wide range of algorithms.We have a detailed study on LMS algotithm and

5、its complementary algotithm,disscused the step-size’s influent for the algorithm’s convergence speed and stability. And using M</p><p>　　Keywords：LMS algorithm，Adaptive，NLMS algorithm，Variable step，MATLAB si

6、mulation.</p><p><b>　　目 錄</b></p><p><b>　　第一章 緒論6</b></p><p>　　1.1 自適應(yīng)濾波理論的發(fā)展6</p><p>　　1.2 自適應(yīng)LMS算法的發(fā)展7</p><p>　　1.2.1 LMS算法歷史

7、7</p><p>　　1.2.2 LMS算法的現(xiàn)狀7</p><p>　　1.2.3 LMS算法的發(fā)展前景7</p><p>　　第二章 自適應(yīng)LMS算法的研究9</p><p><b>　　2.1 概述9</b></p><p>　　2.2 LMS算法9</p>&

8、lt;p>　　2.2.1自適應(yīng)收斂性11</p><p>　　2.2.2平均MSE——學(xué)習(xí)曲線12</p><p>　　2.2.3 失調(diào)14</p><p>　　2.2.4 縮短收斂過(guò)程的方法15</p><p>　　第三章LMS自適應(yīng)濾波器的改進(jìn)形式17</p><p>　　3.1歸一化LMS算法1

9、7</p><p>　　3.1.1 TDO-LMS算法19</p><p>　　3.1.2 MLMS算法20</p><p>　　3.2 泄露LMS算法21</p><p>　　3.3 極性LMS算法22</p><p>　　3.4 LMS算法梯度估計(jì)的平滑22</p><p>　　3

10、.5 解相關(guān)LMS算法23</p><p>　　3.6 性能比較24</p><p>　　第五章 LMS算法的應(yīng)用25</p><p>　　5.1 LMS類(lèi)均衡器25</p><p>　　5.1.1 解相關(guān)LMS（Decorrelation LMS,DLMS）均衡算法25</p><p>　　5.1.2 變化

11、域解相關(guān)LMS均衡算法25</p><p>　　5.2 自適應(yīng)信號(hào)分離器26</p><p>　　5.3 自適應(yīng)陷波器27</p><p>　　5.4系統(tǒng)辨識(shí)或系統(tǒng)建模27</p><p>　　第六章 仿真及其結(jié)果分析29</p><p>　　6.1仿真思路29</p><p>　　

12、6.2結(jié)果及分析29</p><p>　　6.2.1 LMS及其改進(jìn)算法29</p><p>　　6.2.2 LMS自適應(yīng)均衡器32</p><p>　　6.2.3 自適應(yīng)信號(hào)分離器34</p><p>　　6.2.4 自適應(yīng)陷波器34</p><p>　　6.2.5系統(tǒng)辨識(shí)或系統(tǒng)建模34</p>

13、;<p><b>　　結(jié) 論36</b></p><p><b>　　參考文獻(xiàn)37</b></p><p>　　附錄Ⅰ 英文原文及譯文38</p><p>　　附錄Ⅱ 仿真程序51</p><p><b>　　致 謝65</b></p&

14、gt;<p><b>　　第一章 緒論</b></p><p>　　1.1 自適應(yīng)濾波理論的發(fā)展</p><p>　　早在20世紀(jì)40年代，就對(duì)平穩(wěn)隨即信號(hào)建立了維納濾波理論。根據(jù)有用信號(hào)和干擾噪聲的統(tǒng)計(jì)特性（自相關(guān)函數(shù)或功率譜），以線性最小均方誤差估計(jì)準(zhǔn)則所設(shè)計(jì)的最佳濾波器，稱(chēng)為維納濾波器。這種濾波器能最大程度地濾除干擾噪聲，提取有用信號(hào)。但是，當(dāng)輸入

15、信號(hào)的統(tǒng)計(jì)特性偏離設(shè)計(jì)條件，則它就不再是最佳的了，這在實(shí)際應(yīng)用中受到了限制。到60年代初，由于空間技術(shù)的發(fā)展，出現(xiàn)了卡爾曼濾波理論，即利用狀態(tài)變量模型對(duì)非平穩(wěn)、多輸入多輸出隨機(jī)序列作最優(yōu)估計(jì)。現(xiàn)在，卡爾曼濾波器已成功地應(yīng)用到許多領(lǐng)域，它既可對(duì)平穩(wěn)的和非平穩(wěn)的隨機(jī)信號(hào)作線性最佳濾波，也可作非線性濾波。實(shí)質(zhì)上，維納濾波器是卡爾曼濾波器的一個(gè)特例。</p><p>　　若設(shè)計(jì)卡爾曼濾波器時(shí)，必須知道產(chǎn)生輸入過(guò)程的系統(tǒng)的

16、狀態(tài)方程和測(cè)量方程，即要求對(duì)信號(hào)和噪聲的統(tǒng)計(jì)特性有先驗(yàn)知識(shí)。但在實(shí)際中，往往難以預(yù)知這些統(tǒng)計(jì)特性，因此實(shí)現(xiàn)不了真正的最佳濾波。</p><p>　　Widrow B.等于1967年提出的自適應(yīng)濾波理論，可使自適應(yīng)濾波系統(tǒng)的參數(shù)自動(dòng)地調(diào)整而達(dá)到最佳狀況，而且在設(shè)計(jì)時(shí)，只需要很少的或是根本不需要任何關(guān)于信號(hào)與噪聲的先驗(yàn)統(tǒng)計(jì)知識(shí)。這種濾波器的實(shí)現(xiàn)差不多像維納濾波器那樣簡(jiǎn)單，而濾波性能幾乎如卡爾曼濾波器一樣好。因此，近十

17、年來(lái)，自適應(yīng)濾波理論的方法得到了迅速發(fā)展。</p><p>　　圖1-1 自適應(yīng)濾波器原理圖</p><p>　　圖1-1描述的是一個(gè)通用的自適應(yīng)濾波估計(jì)問(wèn)題，圖中離散時(shí)間線性系統(tǒng)表示一個(gè)可編程濾波器，它的沖擊響應(yīng)為h(n)，或稱(chēng)其為濾波參數(shù)[6]。自適應(yīng)濾波器輸出信號(hào)為y(n)，所期望的響應(yīng)信號(hào)為d(n)，誤差信號(hào)e(n)為d(n) 與y(n)之差。這里，期望響應(yīng)信號(hào)d(n) 是根據(jù)不同

18、用途來(lái)選擇的，自適應(yīng)濾波器的輸出信號(hào)y(n)是對(duì)期望響應(yīng)信號(hào)d(n)進(jìn)行估計(jì)的，濾波參數(shù)受誤差信號(hào)e(n)的控制并自動(dòng)調(diào)整，使y(n)得估計(jì)值等于所期望的響應(yīng)d(n).因此，自適應(yīng)濾波器與普通濾波器不同，它的沖擊響應(yīng)或?yàn)V波參數(shù)是隨外部環(huán)境的變化而變化的，經(jīng)過(guò)一段自動(dòng)調(diào)整的收斂時(shí)間達(dá)到最佳濾波的要求。但是，自適應(yīng)濾波器本身有一個(gè)重要的自適應(yīng)算法，這個(gè)算法可以根據(jù)輸入、輸出及原參數(shù)量值，按照一定準(zhǔn)則改變?yōu)V波參量，以使它本身能有效地跟蹤外部環(huán)

19、境的變化。通常，自適應(yīng)濾波器是線性的，因而也是一種線性移變?yōu)V波器。當(dāng)然，它可推廣到自適應(yīng)非線性濾波器。</p><p>　　在圖1-1中，離散時(shí)間線性系統(tǒng)可以分為兩類(lèi)基本結(jié)構(gòu)，其中一類(lèi)為非遞歸型橫向結(jié)構(gòu)的數(shù)字濾波器，它具有有限的記憶，因而稱(chēng)之為有限沖激響應(yīng)（FIR）系統(tǒng)，即自適應(yīng)FIR濾波器。另一類(lèi)為遞歸型數(shù)字濾波器結(jié)構(gòu)，理論上，它具有無(wú)限的記憶，因而稱(chēng)之為無(wú)限沖激響應(yīng)（IIR）系統(tǒng)，即自適應(yīng)IIR濾波器。對(duì)于上

20、述兩類(lèi)自適應(yīng)濾波器，還可以根據(jù)不同的濾波理論和算法，分為結(jié)構(gòu)不同的自適應(yīng)濾波器，它們的濾波器性能也不完全相同。</p><p>　　1.2 自適應(yīng)LMS算法的發(fā)展</p><p>　　1.2.1 LMS算法歷史</p><p>　　1955-1966年期間美國(guó)通用公司在研制天線的過(guò)程中，為抑制旁瓣，由windows和hoff在60年代初提出了基本LMS算法[6]。隨

21、后又發(fā)展出了歸一化算法和加遺忘因子LMS算法。1977年，makjoul提出了格型濾波器，并由此發(fā)展出LMS自適應(yīng)格型濾波器算法。Herzberg、cohen和be’ery提出了延時(shí)LMS（DLMS）算法。2002年，尚勇，吳順君，項(xiàng)海格提出了并行延時(shí)LMS算法。此外，還有復(fù)數(shù)LMS算法、數(shù)據(jù)塊LMS算法等，在此就不一一列舉了。</p><p>　　1.2.2 LMS算法的現(xiàn)狀</p><p&

22、gt;　　因LMS算法具有低計(jì)算復(fù)雜度、在平穩(wěn)環(huán)境中的收斂性好、其均值無(wú)偏地收斂到wiener解和利用有限精度實(shí)現(xiàn)算法時(shí)的穩(wěn)定性等特性，使LMS算法成為自適應(yīng)算法中應(yīng)用最廣泛的算法。由于LMS算法的廣泛應(yīng)用，以及在實(shí)際條件下，為解決實(shí)際問(wèn)題，基于LMS算法的新LMS類(lèi)算法不斷出現(xiàn)。</p><p>　　1.2.3 LMS算法的發(fā)展前景</p><p>　　因LMS算法是自適應(yīng)濾波器中應(yīng)用最

23、廣泛的算法，所以可以說(shuō)，自適應(yīng)濾波的發(fā)展前景也就是LMS算法的發(fā)展前景。它主要包括以下幾個(gè)方面的應(yīng)用：</p><p>　　1、系統(tǒng)辨識(shí)和建模(System Identification and Modeling)。自適應(yīng)濾波器作為估計(jì)未知系統(tǒng)特性的模型。</p><p>　　2、自適應(yīng)信道均衡(Adaptive Channel Equlization)。在數(shù)字通信中采用自適應(yīng)信道均衡器，

24、可以減小傳輸失真，以及盡可能地利用信道帶寬。</p><p>　　3、回波消除(Echo Cancellation)。在2線和4線環(huán)路電話系統(tǒng)中，線路間存在雜散電路耦合，這些雜散導(dǎo)致阻抗不匹配，從而形成了信號(hào)的反射，也就是我們?cè)诰€路兩端聽(tīng)到的回聲。這種回波能對(duì)高速數(shù)據(jù)傳輸造成災(zāi)難性的后果?；夭ㄏ褪穷A(yù)先估計(jì)一個(gè)回波，然后用返回信號(hào)來(lái)減此回波，從而達(dá)到回波消除的目的。消除心電圖中的電源干擾就是它的一個(gè)具體應(yīng)用。&

25、lt;/p><p>　　4、線性預(yù)測(cè)編碼（Linear Predictive Coding）。近年來(lái)，對(duì)語(yǔ)音波形進(jìn)行編碼，它可以大大降低數(shù)據(jù)傳輸率。在接收端使用LPC分析得到的參數(shù)，通過(guò)話音合成器重構(gòu)話音。合成器實(shí)際上是一個(gè)離散的隨時(shí)間變化的時(shí)變線性濾波器。時(shí)變線性濾波器既當(dāng)作預(yù)測(cè)器使用，又當(dāng)作合成器使用。分析語(yǔ)音波形時(shí)作預(yù)測(cè)器使用，合成語(yǔ)音時(shí)作話音生成模型使用。</p><p>　　5、自適

26、應(yīng)波束形成（Adaptive Beaamforming）。頻譜資源越來(lái)越緊張，利用現(xiàn)有頻譜資源進(jìn)一步擴(kuò)展容量成為通信發(fā)展的一個(gè)重要問(wèn)題。智能天線技術(shù)利用陣列天線替代常規(guī)天線，它能夠降低系統(tǒng)干擾，提高系統(tǒng)容量和頻譜效率，因此智能天線技術(shù)受到廣泛關(guān)注。自適應(yīng)束波形成通過(guò)調(diào)節(jié)天線各陣元的加權(quán)幅度和相位，來(lái)改變陣列的方向圖，使陣列天線的主瓣對(duì)準(zhǔn)期望用戶(hù)，從而提高接收信噪比，滿(mǎn)足某一準(zhǔn)則下的最佳接收。在雷達(dá)與聲納的波束形成中，自適應(yīng)濾波器用于波束

27、方向控制，并可在方向圖中提供一個(gè)零點(diǎn)以便消除不希望的干擾。</p><p>　　其應(yīng)用還有噪聲中信號(hào)的濾波、跟蹤、譜線增強(qiáng)以及預(yù)測(cè)等。</p><p>　　第二章 自適應(yīng)LMS算法的研究</p><p><b>　　2.1 概述</b></p><p>　　自適應(yīng)算法中使用最廣的是下降算法，下降算法的實(shí)現(xiàn)方式有兩種：自適

28、應(yīng)梯度算法和自適應(yīng)高斯-牛頓算法。自適應(yīng)高斯-牛頓算法包括RLS算法及其變型和改進(jìn)型，自適應(yīng)梯度算法包括LMS算法及其變型和改進(jìn)型[2,6]。</p><p>　　濾波器設(shè)計(jì)準(zhǔn)則是使濾波器實(shí)際輸出y(n)與期望響應(yīng)d(n)之間的均方誤差J（n）為最小，這稱(chēng)為最小均方誤差（MMSE）準(zhǔn)則。</p><p>　　圖2-1FIR濾波器的自適應(yīng)實(shí)現(xiàn)</p><p>　　圖2

29、.1為FIR濾波器的自適應(yīng)實(shí)現(xiàn)的原理圖。所謂自適應(yīng)實(shí)現(xiàn)是指；M階FIR濾波器的抽頭權(quán)系數(shù)w0,w1,…,wm-1可以根據(jù)估計(jì)誤差e(n)的大小自動(dòng)調(diào)節(jié)，使得某個(gè)代價(jià)函數(shù)最小[6,7]。</p><p>　　定義均方誤差J(n)為代價(jià)函數(shù)，因?yàn)闉V波器在n時(shí)刻的估計(jì)誤差</p><p>　　e(n)=d(n)-wHx(n) (

30、2-1)</p><p><b>　　所以代價(jià)函數(shù)</b></p><p>　　J(n)=E{|e(n)|2}=E{|d(n)-wH(n)|2} (2-2)</p><p>　　由此可得J(n)的梯度 </p><p>　　▽J(n)=2 E{x(n) H(n)}w(n)-2E

31、{x(n)d﹡(n)} (2-3)</p><p>　　2.2 LMS算法</p><p>　　最陡下降算法不需要知道誤差特性曲面的先驗(yàn)知識(shí)，其算法就能收斂到最佳維納解，且與起始條件無(wú)關(guān)[6]。但是最陡下降算法的主要限制是它需要準(zhǔn)確測(cè)得每次迭代的梯度矢量，這妨礙了它的應(yīng)用。為了減少計(jì)算復(fù)雜度和縮短自適應(yīng)收斂時(shí)間許多學(xué)者對(duì)這方面的新算法進(jìn)行了研究。196

32、0年，美國(guó)斯坦福大學(xué)的Windrow等提出了最小均方（LMS）算法，這是一種用瞬時(shí)值估計(jì)梯度矢量的方法，即</p><p><b>　　(2-4)</b></p><p>　　可見(jiàn)，這種瞬時(shí)估計(jì)法是無(wú)偏的，因?yàn)樗钠谕礒[]確實(shí)等于矢量。所以，按照自適應(yīng)濾波器濾波系數(shù)矢量的變化與梯度矢量估計(jì)的方向之間的關(guān)系，可以先寫(xiě)出LMS算法的公式如下：</p>&

33、lt;p><b>　?。?-5a）</b></p><p><b>　?。?-5b）</b></p><p>　　將式e(n)=d(n)-y(n)和式（2-1）代入到上式中，可得到</p><p>　　= （2-6）</p><p>　　圖2-2 自適應(yīng)

34、LMS算法信號(hào)流圖</p><p>　　由上式可以得到自適應(yīng)LMS算法的信號(hào)流圖，這是一個(gè)具有反饋形式的模型，如圖2-2所示。如同最陡下降法，我們利用時(shí)間n=0的濾波系數(shù)矢量為任意的起始值w(0),然后開(kāi)始LMS算法的計(jì)算，其步驟如下。</p><p>　　由現(xiàn)在時(shí)刻n的濾波器濾波系數(shù)矢量估值，輸入信號(hào)矢量x(n)以及期望信號(hào)d(n)，計(jì)算誤差信號(hào)：</p><p>

35、;　　e(n)=d(n)- （2-7）</p><p>　　利用遞歸法計(jì)算濾波器系數(shù)矢量的更新估值：</p><p><b>　?。?-8）</b></p><p>　　將時(shí)間指數(shù)n增加1，回到步驟（1），重復(fù)上述計(jì)算步驟，一直到達(dá)穩(wěn)態(tài)為止。</p><p>　　由此可見(jiàn)，

36、自適應(yīng)LMS算法簡(jiǎn)單，它既不要計(jì)算輸入信號(hào)的相關(guān)函數(shù)，又不要求矩陣之逆，因而得到了廣泛的應(yīng)用。但是，由于LMS算法采用梯度矢量的瞬時(shí)估計(jì)，它有大的方差，以致不能獲得最優(yōu)濾波性能[3]。下面我們來(lái)分析LMS算法的性能。</p><p>　　2.2.1自適應(yīng)收斂性</p><p>　　自適應(yīng)濾波器系數(shù)矢量的起始值w(0)是任意的常數(shù)，應(yīng)用LMS算法調(diào)節(jié)濾波器系數(shù)具有隨機(jī)性而使系數(shù)矢量w(n)帶

37、來(lái)非平穩(wěn)過(guò)程。通常為了簡(jiǎn)化LMS算法的統(tǒng)計(jì)分析，往往假設(shè)算法連續(xù)迭代之間存在以下的充分條件：</p><p>　　(1) 每個(gè)輸入信號(hào)樣本矢量x(n)與過(guò)去全部樣本矢量x(k),k=0,1,…,n-1是統(tǒng)計(jì)獨(dú)立的，不相關(guān)的，即有</p><p>　　E[x(n)xH(k)]=0; k=0,1,…,n-1 (2-9)</p><p>

38、;　　(2) 每個(gè)輸入信號(hào)樣本矢量x(n)與全部過(guò)去的期望信號(hào)d(k), k=0,1,…,n-1也是統(tǒng)計(jì)獨(dú)立的，即有</p><p>　　E[x(n)d(k)]=0; k=0,1,…,n-1 (2-10)</p><p>　　(3) 期望信號(hào)樣本d(n)依賴(lài)于輸入過(guò)程樣本矢量x(n)，但全部過(guò)去的期望信號(hào)樣本是獨(dú)立的。</p><p

39、>　　(4)濾波器抽頭輸入信號(hào)矢量x(n)與期望信號(hào)d(n)包含著全部n的共同的高斯分布隨即變量。</p><p>　　通常，將基于上述基本假設(shè)的LMS算法的統(tǒng)計(jì)分析稱(chēng)為獨(dú)立理論（Gendependence Theory）[6].</p><p>　　由式（2-6）可知，自適應(yīng)濾波器在n+1時(shí)刻的濾波系數(shù)矢量 依賴(lài)與三個(gè)輸入：</p><p>　　輸入過(guò)程的過(guò)

40、去樣本矢量x(k), k=n,n-1,…,0;</p><p>　　期望信號(hào)的以前樣本值d(k), k=n,n-1,…,0;</p><p>　　濾波器系數(shù)矢量的起始值。</p><p>　　從上述基本假設(shè)（1）和（2）的觀點(diǎn)來(lái)看，我們可發(fā)現(xiàn)濾波器系數(shù)矢量是與x(n+1)和d(n+1)獨(dú)立無(wú)關(guān)。這點(diǎn)是很有用的，而且在后續(xù)分析中將被重復(fù)使用。</p>&

41、lt;p>　　當(dāng)然，有許多實(shí)際問(wèn)題對(duì)于輸入過(guò)程與期望信號(hào)并不滿(mǎn)足上述基本假設(shè)。盡管如此，LMS算法的實(shí)踐經(jīng)驗(yàn)證明，在有足夠的關(guān)于自適應(yīng)過(guò)程結(jié)構(gòu)信息的條件下，基于這些假設(shè)所分析的結(jié)果仍可用作可靠的設(shè)計(jì)指導(dǎo)準(zhǔn)則，技術(shù)某些問(wèn)題帶有依賴(lài)的數(shù)據(jù)樣本。</p><p>　　為了分析問(wèn)題，現(xiàn)在我們將系數(shù)誤差矢量Δw(n)代入式（2-6）的右邊，得到</p><p><b>　　=<

42、/b></p><p>　　式中，是最佳濾波系數(shù)矢量，Δw(n)是誤差矢量。如將移至等式左邊，則-等于系數(shù)誤差的跟新值，于是上式可寫(xiě)成</p><p>　　Δw(n+1)= （2-11）</p><p>　　對(duì)于上式兩邊取數(shù)學(xué)期望，得到</p><p><b>　　=</b></p><p&

43、gt;　　= （2-12）</p><p>　　顯然，上式中R為輸入信號(hào)矢量x(n)的相關(guān)矩陣，而P為輸入信號(hào)矢量x(n)與期望信號(hào)d(n)的互相關(guān)矩陣。根據(jù)自適應(yīng)濾波的正則方程的矩陣式，上式右邊第二項(xiàng)應(yīng)等于零。由此可簡(jiǎn)寫(xiě)成</p><p><b>　　（2-13）</b></p><p>　　我們可以

44、看出，LMS算法與前述最陡下降算法有相同的精確數(shù)學(xué)表達(dá)式。因此，要使LMS算法收斂于均值，必須使步長(zhǎng)參數(shù)μ滿(mǎn)足下列條件：</p><p><b>　?。?-14）</b></p><p>　　這里是相關(guān)矩陣R的最大特征值。在此條件下，當(dāng)?shù)?jì)算次數(shù)n接近于時(shí)，自適應(yīng)濾波系數(shù)w(n)近似等于最佳維納解w0.</p><p>　　2.2.2平均MS

45、E——學(xué)習(xí)曲線</p><p>　　如前節(jié)所述，最陡下降算法每次迭代都要精確計(jì)算梯度矢量，使自適應(yīng)橫向?yàn)V波器權(quán)矢量或?yàn)V波系數(shù)矢量w(n)能達(dá)到最佳維納解w0 ，這時(shí)濾波器均方誤差（MSE）為最小，即式中，是期望信號(hào)d(n)的方差。</p><p><b>　?。?-15）</b></p><p>　　學(xué)習(xí)曲線定義為均方誤差隨迭代計(jì)算次數(shù)n的變化

46、關(guān)系，如式（2-16）所描述的包含指數(shù)項(xiàng)之和：</p><p><b>　?。?-16）</b></p><p>　　圖2-3單條學(xué)習(xí)曲線</p><p>　　式中每個(gè)指數(shù)項(xiàng)對(duì)應(yīng)于算法的固有模式，模式的數(shù)目等于濾波器加權(quán)數(shù)。顯而易見(jiàn)，由于上式中，故當(dāng)n→∞,最陡下降算法均方誤差ξ（∞）=λmin.但LMS算法用瞬時(shí)值估計(jì)梯度存在誤差的噪聲估計(jì)，

47、結(jié)果使濾波器權(quán)矢量估值只能近似于最佳維納解，這意味著濾波均方誤差隨著迭代次數(shù)n的增加而出現(xiàn)小波動(dòng)地減少，最后，ξ（∞）不是等于λmin而是稍大于其值，如圖2-3所示。如果步長(zhǎng)參數(shù)μ選用得越少，則這種噪化指數(shù)衰減曲線上的波動(dòng)幅度將減小，即學(xué)習(xí)曲線的平滑度越好[6]。</p><p>　　但是，對(duì)于自適應(yīng)橫向?yàn)V波器總體來(lái)說(shuō)，假設(shè)每個(gè)濾波器LMS算法用相同的步長(zhǎng)μ和同等的起始系數(shù)矢量w(0)，并從同一統(tǒng)計(jì)群體隨機(jī)地選取

48、各個(gè)平穩(wěn)的各態(tài)歷經(jīng)的輸入信號(hào)，由此計(jì)算自適應(yīng)濾波器總體平均學(xué)習(xí)曲線。</p><p><b>　　濾波器的均方誤差</b></p><p><b>　　（2-17）</b></p><p>　　式中，稱(chēng)為濾波系數(shù)的誤差矢量。為了求總體平均RMS，對(duì)式（2-17）兩邊取數(shù)學(xué)期望值，有</p><p>

49、　　由矩陣?yán)碚撝械仁?，上式右邊第二?xiàng)可以可寫(xiě)成</p><p><b>　　（2-18）</b></p><p>　　式中K(n)=，稱(chēng)之為濾波權(quán)系數(shù)誤差的相關(guān)矩陣，因此，平均RMS可以寫(xiě)出</p><p><b>　?。?-19）</b></p><p>　　式中，K（n）可以遞歸地進(jìn)行計(jì)算。&l

50、t;/p><p>　　下面我們推導(dǎo)這個(gè)遞歸公式。首先把式（2-11）遞歸計(jì)算式寫(xiě)成</p><p>　　這里，。將上式與其共軛轉(zhuǎn)置矩陣右乘，得到</p><p>　　對(duì)上式兩邊取數(shù)學(xué)期望，由于與x(n)不相關(guān)，且認(rèn)為與x(n)也不相關(guān)，又，于是得到的遞歸計(jì)算公式：</p><p><b>　　(2-20)</b></p

51、><p>　　利用酉矩陣相似性變換法，有</p><p><b>　　(2-21a)</b></p><p>　　這里，是對(duì)角線矩陣所含的相關(guān)矩陣R的特征值，矩陣Q是由這些特征值相關(guān)聯(lián)的特征矢量所確定的酉矩陣。注意到矩陣是實(shí)值，并且令</p><p><b>　?。?-21b）</b></p>

52、;<p>　　注意，這里X(n)是一個(gè)對(duì)角線矩陣。加上酉矩陣性質(zhì),由式（2-21）得到</p><p><b>　?。?-22）</b></p><p>　　因?yàn)槭菍?duì)角線矩陣，矩陣X(n)的對(duì)角元素是，i=1,2,…,M,上式又可寫(xiě)成</p><p><b>　?。?-23）</b></p>&

53、lt;p>　　其次，我們利用式（2-21）所描述的變換關(guān)系，將式（2-20）遞歸計(jì)算公式重新寫(xiě)成</p><p><b>　?。?-24）</b></p><p>　　上式表明，只需要計(jì)算其對(duì)角線項(xiàng)元素，就可得到</p><p><b>　　，</b></p><p><b>　　i

54、=1,2,…,M</b></p><p>　　當(dāng)n趨于∞時(shí)，則與的極限相等，于是由上式與式（2-23）得到</p><p><b>　?。?-25）</b></p><p>　　我們定義超量均方誤差等于總體平均的均方誤差E[ξ(∞)]與最小均方誤差之差值，即</p><p>　　= tr[RK(∞)] =

55、 （2-26）</p><p>　　顯然，如果能使總體平均E[ξ(n)]收斂于最終穩(wěn)定值，當(dāng)且僅當(dāng)步長(zhǎng)參數(shù)μ必須滿(mǎn)足下列條件：</p><p><b>　?。?-27a）</b></p><p><b>　　或</b></p><p><b>　?。?/p>

56、2-27b）</b></p><p>　　這里，i=1,2,…,M是相關(guān)矩陣R的特征值，M是自適應(yīng)濾波器橫向抽頭數(shù)或階數(shù)。當(dāng)此條件被滿(mǎn)足時(shí)，LMS算法是絕對(duì)收斂的，這是從均方值域保證穩(wěn)定</p><p>　　的條件。如果將其與均方值域所討論的穩(wěn)定條件式（2-14）相比較看，由于僅是 中的一個(gè)最大值，所以，由式（2-27）所表示的穩(wěn)定條件既是必要的又是充分的。<

57、;/p><p><b>　　2.2.3 失調(diào)</b></p><p>　　在自適應(yīng)濾波器中，失調(diào)（Misnadjustment）M是衡量其濾波性能的一個(gè)技術(shù)指標(biāo)，它被定義為總體平均超量均方誤差值與最小均方誤差值之比，即</p><p>　　M= （2-28）</p>

58、<p>　　把式（2-26）代入上式中，得到</p><p>　　M= （2-29）</p><p>　　通常所用μ值很小，因此，失調(diào)又可近似表示為</p><p>　　M= （

59、2-30）</p><p>　　顯而易見(jiàn)，自適應(yīng)濾波器LMS算法的穩(wěn)態(tài)失調(diào)與步長(zhǎng)μ成正比。把算法的總體平均學(xué)習(xí)曲線的時(shí)間常數(shù)寫(xiě)成的逆數(shù)，而平均特征值應(yīng)等于 ，則濾波器穩(wěn)定失調(diào)M又可由式（2-29）寫(xiě)成</p><p>　　M= （2-31）</p><p><b>　　上

60、面諸式表明：</b></p><p>　?。?）失調(diào)為自適應(yīng)LMS算法提供了一個(gè)很有用的測(cè)度，比如10﹪失調(diào)意味著自適應(yīng)算法所產(chǎn)生的總體平均MSE高于最小均方誤差的增量值為10﹪；</p><p>　?。?）失調(diào)是隨濾波系數(shù)數(shù)目線性增加的；</p><p>　　（3）失調(diào)可以做的任意小，只要選用大的時(shí)間常數(shù)，也就是小的步長(zhǎng)值即可。但是，濾波器自適應(yīng)收斂過(guò)

61、程需要長(zhǎng)的時(shí)間，影響了濾波器自學(xué)習(xí)、自訓(xùn)練的速度，所以，自適應(yīng)濾波器LMS算法的失調(diào)與自適應(yīng)收斂過(guò)程之間存在著矛盾，如何縮短收斂過(guò)程，而且有很小的失調(diào)，這是值得研究的問(wèn)題。</p><p>　　2.2.4 縮短收斂過(guò)程的方法</p><p>　　根據(jù)自適應(yīng)濾波器權(quán)系數(shù)調(diào)節(jié)的遞歸計(jì)算公式可以看出，LMS算法的迭代公式為</p><p>　　為了縮短收斂過(guò)程，概括起來(lái)可

62、以從如下三個(gè)方面進(jìn)行設(shè)計(jì)：</p><p>　　第一，采用不同的梯度估值，如LMS牛頓算法，它估計(jì)時(shí)采用了輸入矢量相關(guān)函數(shù)的估值，使得收斂速度大大快于上述經(jīng)典的LMS算法，因?yàn)樗诘^(guò)程中采用了更多的有關(guān)輸入信號(hào)矢量的信息。</p><p>　　第二，對(duì)收斂因子步長(zhǎng)μ選用不同方法。步長(zhǎng)μ的大小決定著算法的收斂速度和達(dá)到穩(wěn)態(tài)的失調(diào)量的大小。對(duì)于常數(shù)的μ值來(lái)說(shuō)，收斂速度和失調(diào)量是一對(duì)矛盾，要

63、想得到較快的收斂速度可選用大的μ值，這將導(dǎo)致較大的失調(diào)量；如果要滿(mǎn)足失調(diào)量的要求，則收斂速度受到制約。因此，人們研究了采用變步長(zhǎng)的方法來(lái)克服這一矛盾。自適應(yīng)過(guò)程開(kāi)始時(shí)，取用較大的μ值以保證較快的收斂速度，然后讓?duì)讨抵饾u減小，以保證收斂后得到較小的失調(diào)量?，F(xiàn)在已有不同準(zhǔn)則來(lái)調(diào)整步長(zhǎng)μ，如歸一化LMS算法、時(shí)域正交化LMS算法等。</p><p>　　第三，采用變換域分塊處理技術(shù)。對(duì)由濾波器權(quán)系數(shù)矢量調(diào)整的修正項(xiàng)中的

64、乘積用變換域快速算法與分塊處理技術(shù)可以大大減少計(jì)算量，且能改善收斂特性，如頻域LMS算法、分塊LMS算法等。</p><p>　　第三章LMS自適應(yīng)濾波器的改進(jìn)形式</p><p>　　文獻(xiàn)中已經(jīng)提出了許多基于LMS算法的改進(jìn)的自適應(yīng)算法。這些算法的共同特點(diǎn)是從LMS算法出發(fā)，試圖改進(jìn)LMS算法的某些性能，包括LMS算法的收斂特性，減小穩(wěn)態(tài)均方誤差，減小計(jì)算復(fù)雜度。</p>

65、<p>　　3.1歸一化LMS算法</p><p>　　如果不希望用與估計(jì)輸入信號(hào)矢量有關(guān)的相關(guān)矩陣來(lái)加快LMS算法的收斂速度，那么可用變步長(zhǎng)方法來(lái)縮短其自適應(yīng)收斂過(guò)程，其中一個(gè)主要的方法是歸一化LMS（Normalized LMS,縮寫(xiě)為NLMS）算法[6-8]，變步長(zhǎng)μ（n）的更新公式由式（2-8）寫(xiě)成</p><p><b>　?。?-1）</b>&l

66、t;/p><p>　　式中，表示濾波權(quán)系數(shù)矢量迭代更新的調(diào)整量。為了達(dá)到快速收斂的目的，必須合適地選擇變步長(zhǎng)μ（n）的值，一個(gè)可能的策略是盡可能多的減小瞬時(shí)平方誤差，即用瞬時(shí)平方誤差作為均方誤差MSE的簡(jiǎn)單估計(jì)，這也是LMS算法的基本思想[6]。瞬時(shí)平方誤差可以寫(xiě)成</p><p><b>　?。?-2）</b></p><p>　　如果濾波權(quán)系數(shù)

67、矢量的變化量，則對(duì)應(yīng)的平方誤差可以由上式得到</p><p><b>　　（3-3）</b></p><p>　　在此情況下，瞬時(shí)平方誤差的變化量定義為</p><p><b>　　（3-4）</b></p><p>　　把 的關(guān)系代入式（3-4）中，得到</p><p>&

68、lt;b>　?。?-5）</b></p><p>　　為了增加收斂速度，合適地選取μ（n）使平方誤差最小化，故將式（3-5）對(duì)變系數(shù)μ（n）求偏導(dǎo)數(shù)，并令其等于零，求得</p><p><b>　?。?-6）</b></p><p>　　這個(gè)步長(zhǎng)值μ（n）導(dǎo)致出現(xiàn)負(fù)的值，這對(duì)應(yīng)于的最小點(diǎn)，相當(dāng)于平方誤差等于零。為了控制失調(diào)量，

69、考慮到基于瞬時(shí)平方誤差的導(dǎo)數(shù)不等于均方誤差MSE求導(dǎo)數(shù)值，所以對(duì)LMS算法的更新迭代公式作如下修正：</p><p><b>　?。?-7）</b></p><p>　　式中，μ為控制失調(diào)的固定收斂因子，γ參數(shù)是為避免過(guò)小導(dǎo)致步長(zhǎng)值太大而設(shè)置的。通常稱(chēng)式（3-7）為歸一化LMS算法的迭代公式。</p><p>　　為了保證自適應(yīng)濾波器的工作穩(wěn)定

70、，固定收斂因子μ的選取應(yīng)滿(mǎn)足一定的數(shù)值范圍?，F(xiàn)在我們來(lái)討論這個(gè)問(wèn)題。首先考慮到下列關(guān)系：</p><p><b>　　（3-8a）</b></p><p><b>　?。?-8b）</b></p><p>　　然后對(duì)收斂因子的平均值應(yīng)用更新LMS的方向是 ,最后，將歸一化LMS算法的更新公式與經(jīng)典LMS算法更新

71、公式相比較，可以得到收斂因子μ的上界不等式條件，如下：</p><p><b>　?。?-9）</b></p><p><b>　　或</b></p><p>　　顯然，由式（3-7）與（3-9）可構(gòu)成歸一化LMS算法，其中，選擇不同的γ值可以得到不同的算法，當(dāng)時(shí)，由式（3-7）可以寫(xiě)成</p><

72、p><b>　?。?-10）</b></p><p>　　這種算法是NLMS算法的泛化形式，其中隨機(jī)梯度估計(jì)是除以輸入信號(hào)矢量元素平方之和。所以步長(zhǎng)變化的范圍比較大，可由較好的收斂性能。在此情況下，算法的歸一化均方誤差（NMSE）可由式（3-10）得到</p><p><b>　?。?-11）</b></p><p>

73、;　　得到最佳濾波權(quán)系數(shù)：</p><p><b>　　（3-12）</b></p><p><b>　　式中，</b></p><p><b>　　（3-13a）</b></p><p><b>　?。?-13b）</b></p><

74、p>　　所以，自相關(guān)矩陣和互相關(guān)量都含有歸一化因子，在穩(wěn)定狀態(tài)x(n)和d(n)時(shí)，假定自相關(guān)矩陣存在可逆性。同時(shí)，我們由式（3-11）可以看出，當(dāng)且僅當(dāng)時(shí)，歸一化LMS算法的均方誤差可等于零。這需要對(duì)d(n)用輸入信號(hào)矢量線性組合進(jìn)行精確地建模。此時(shí)，最佳濾波權(quán)矢量變成合宜的線性權(quán)系數(shù)矢量。</p><p>　　當(dāng)γ=1時(shí)，NLMS算法更新公式可以寫(xiě)成</p><p><b&

75、gt;　?。?-14）</b></p><p>　　由此可見(jiàn)NLMS算法的特殊形式：</p><p><b>　?。?-15）</b></p><p><b>　　或</b></p><p><b>　?。?-16）</b></p><p>

76、　　這也表明等效步長(zhǎng)是輸入信號(hào)的非線性變量，它使變步長(zhǎng)由大逐步變小了，加速了收斂過(guò)程。當(dāng)然，NLMS算法的計(jì)算量較之LMS算法稍有些增加。</p><p>　　下面我們介紹兩個(gè)有趣的改進(jìn)型LMS算法一為時(shí)域正交（Time-Domain Orthogonal）LMS算法，簡(jiǎn)稱(chēng)為T(mén)DO-LMS算法(MLMS)，另一位修正LMS算法[6]。它們都屬于可變步長(zhǎng)的LMS算法，可以縮短自適應(yīng)收斂過(guò)程的時(shí)間。</p>

77、;<p>　　3.1.1 TDO-LMS算法</p><p>　　時(shí)域正交算法是基于對(duì)平方誤差取時(shí)間上的平均，即對(duì)</p><p><b>　?。?-17）</b></p><p>　　取最小值。按上式對(duì)權(quán)系數(shù)矢量取偏導(dǎo)數(shù)，并令其等于零，得到時(shí)域正交準(zhǔn)則下序列x(n)對(duì)d(n)進(jìn)行線性估計(jì)的最佳權(quán)系數(shù)矢量，即</p>

78、<p><b>　?。?-18a）</b></p><p>　　或 </p><p><b>　　（3-18b）</b></p><p>　　這意味著用時(shí)域正交LMS算法的權(quán)矢量更新運(yùn)算

79、公式，可對(duì)線性估計(jì)的權(quán)矢量作自適應(yīng)調(diào)整，使其逐步趨于最佳值。Huffman的TDO-LMS算法的更新公式是</p><p><b>　　（3-19）</b></p><p>　　當(dāng)m取足夠大的值時(shí)，上式又可近似成</p><p><b>　?。?-20）</b></p><p>　　這與上面討論的歸

80、一化LMS算法的權(quán)矢量更新公式相類(lèi)似。</p><p>　　3.1.2 MLMS算法</p><p>　　修正LMS算法是在LMS算法中權(quán)矢量的校正量與梯度估計(jì)之間人為地引入一個(gè)時(shí)延，利用現(xiàn)時(shí)刻的梯度估計(jì)代替前一時(shí)刻的梯度估計(jì)，有</p><p><b>　?。?-21）</b></p><p>　　稱(chēng)之為修正LMS算法

81、。這種算法乍看起來(lái)似乎存在矛盾，因?yàn)楸旧砭褪堑暮瘮?shù)，其實(shí)，它還是可解得。式（3-21）用瞬時(shí)梯度信息可表示為</p><p><b>　?。?-22）</b></p><p><b>　　將代入上式，有</b></p><p><b>　　整理后，得到</b></p><p>

82、<b>　?。?-23）</b></p><p><b>　　式中</b></p><p><b>　　（3-24a） </b></p><p><b>　?。?-24b） </b></p><p>　　顯然，自適應(yīng)步長(zhǎng) 是可變收斂因子，它隨著輸入信號(hào)

83、功率的變化可加快收斂速度，從而使MLMS算法的性能有了很大的改進(jìn)，特別是在μ選用的值較大時(shí)。當(dāng)然，如果μ只取很小，則MLMS算法近似等于LMS算法。比較式（3-15）與（3-23）可看出，MLMS算法與NLMS算法特殊形式的更新公式很相似，變步長(zhǎng)都取決于輸入信號(hào)功率，但不同的是信號(hào)和誤差序列都差一個(gè)時(shí)延的相應(yīng)值，隨著迭代運(yùn)算次數(shù)的增加而趨于一致。因此，歸一化LMS算法、時(shí)域正交LMS算法及修正LMS算法都是以輸入信號(hào)功率控制變步長(zhǎng)LMS

84、算法，利用梯度信息調(diào)整濾波器權(quán)系數(shù)使其達(dá)到最佳值這一點(diǎn)完全相同。但它們的自適應(yīng)過(guò)程較快，性能有了很大改進(jìn)。</p><p>　　輸入信號(hào)功率與其相關(guān)矩陣R的特征值 有關(guān)，設(shè)R的特征矢量矩陣為Q， 是R的m個(gè)特征矢量，則有 ,可寫(xiě)成</p><p>　　或 (3-25)</p><p>　　式中，， 這表明變步長(zhǎng)受 控制，與前述

85、概念相一致。</p><p>　　3.2 泄露LMS算法 </p><p>　　泄露LMS算法的迭代公式如式（3-26）所示：</p><p><b>　?。?-26） </b></p><p>　　式中，γ為正值常數(shù)，需滿(mǎn)足</p><p><b>　?。?-27） </

86、b></p><p>　　通常取 γ近似為1。若γ=1，則泄露LMS算法變?yōu)長(zhǎng)MS算法[8]。對(duì)于常規(guī)的LMS算法，當(dāng)μ突然變?yōu)榱銜r(shí)，權(quán)矢量系數(shù)將不再發(fā)生變化而保持μ變?yōu)榱銜r(shí)的值。而對(duì)于泄露LMS算法，當(dāng)μ值變?yōu)?之后，濾波器的權(quán)矢量將逐漸變化，并最終變?yōu)?矢量。這個(gè)過(guò)程稱(chēng)為泄露[8]。泄露LMS算法在通信系統(tǒng)的自適應(yīng)差分脈沖編碼調(diào)制（ADPCM）中得到應(yīng)用，被用來(lái)減小或消除通道誤差。另一方面，泄露LMS算

87、法也常用來(lái)在自適應(yīng)陣列中消除旁瓣效應(yīng)。</p><p>　　實(shí)際上，在無(wú)噪聲的條件下，泄露LMS算法的性能并沒(méi)有常規(guī)LMS算法好，一下分析都可以說(shuō)明這一點(diǎn)。由式（3-27），有</p><p>　　= （3-28） </p><p>　　假定輸入信號(hào)與權(quán)矢量是相互獨(dú)立的，則</p><p><b>　?。?-29）

88、 </b></p><p><b>　　或者</b></p><p><b>　?。?-30）</b></p><p>　　若要保證上述算法的穩(wěn)定，需要有</p><p><b>　　(3-31)</b></p><p>　　顯然，上式明顯

89、與最佳權(quán)矢量由偏差。因此，泄露LMS算法是一種有偏的LMS算法。Γ越接近于1，偏差越小?？梢宰C明，泄露LMS算法的穩(wěn)定性條件為</p><p><b>　?。?-32）</b></p><p>　　由于矩陣 是嚴(yán)格正定的，故沒(méi)有零值的特征值。此外，泄露LMS算法的第i個(gè)權(quán)系數(shù)的時(shí)間常數(shù)為</p><p><b>

90、　?。?-33）</b></p><p>　　式中，表示泄露LMS算法第i個(gè)權(quán)系數(shù)的時(shí)間常數(shù)。顯然，比LMS算法的時(shí)間常數(shù)小，即可能以更快的速度收斂。</p><p>　　3.3 極性LMS算法</p><p>　　在有些應(yīng)用領(lǐng)域，尤其是在高速通信領(lǐng)域，實(shí)際問(wèn)題對(duì)算法的計(jì)算量有很?chē)?yán)格的要求，因此，產(chǎn)生了一類(lèi)稱(chēng)為極性（或符號(hào)）算法的自適應(yīng)算法[8]。這種算

91、法可以顯著地減小自適應(yīng)濾波器的計(jì)算量，有效地簡(jiǎn)化相應(yīng)的硬件電路和程序計(jì)算。這類(lèi)極性算法可以分為三種不同的實(shí)現(xiàn)方式，即對(duì)誤差取符號(hào)的誤差極性算法（SE），對(duì)輸入信號(hào)取符號(hào)的信號(hào)極性算法（SR）和對(duì)誤差與輸入信號(hào)二者均取符號(hào)的簡(jiǎn)單極性算法（SS）。這三種算法的權(quán)矢量迭代公式如式（3-34）所示。</p><p><b>　?。?-34）</b></p><p>　　在式（

92、3-34）中，符號(hào)函數(shù)sgn[·]定義為</p><p><b>　?。?-35）</b></p><p>　　極性LMS算法的主要優(yōu)點(diǎn)是計(jì)算量小。顯然，這種算法把一個(gè)數(shù)據(jù)樣本的N比特運(yùn)算簡(jiǎn)化為一個(gè)比特的運(yùn)算，即符號(hào)或極性的運(yùn)算。另一方面，與基本LMS算法相比，這種三個(gè)在梯度估計(jì)性能上有所退化，這是由于其較粗的量化精度所引起的，并由此引起了收斂速度的下降和穩(wěn)

93、態(tài)誤差的增加。</p><p>　　3.4 LMS算法梯度估計(jì)的平滑</p><p>　　在迭代方程中，用帶噪的瞬時(shí)梯度估值來(lái)替代梯度真值是LMS算法的一個(gè)顯著缺點(diǎn)。如果使用連續(xù)幾次梯度估值的平滑結(jié)果來(lái)替換這個(gè)瞬時(shí)值，則有可能改善LMS算法的性能。有許多方法可以用于對(duì)一個(gè)時(shí)間序列進(jìn)行平滑，歸納起來(lái)，可以分為線性平滑和非線性平滑兩類(lèi)[8]。</p><p>　　設(shè)平滑

94、LMS梯度估計(jì)的自適應(yīng)迭代算法為</p><p><b>　?。?-36）</b></p><p><b>　　式中，</b></p><p><b>　?。?-37）</b></p><p>　　對(duì)于線性平滑，一種有效的平滑方法是鄰域平均法，即</p><

95、p><b>　　（3-38）</b></p><p>　　式中，N表示參加平滑的梯度估值的樣本點(diǎn)數(shù)。另一種有效地平滑方法是低通濾波法，即利用低通濾波器來(lái)進(jìn)行線性平滑。</p><p><b>　?。?-39）</b></p><p>　　式中，LPF[·]表示低通濾波器。</p><p&

96、gt;　　對(duì)于非線性平滑處理，常采用中值濾波技術(shù)。b(n)矢量中的第i個(gè)元素為</p><p><b>　　(3-40)</b></p><p><b>　　或者</b></p><p><b>　　（3-41）</b></p><p>　　式中，Med表示取中值運(yùn)算。中值平滑

97、除了像線性平滑一樣可以用于消除梯度估計(jì)的噪聲之外，對(duì)信號(hào)的“邊緣”成分影響不大，圖3.1給出了基于中值平滑的LMS算法在自適應(yīng)濾波中應(yīng)用的結(jié)果。</p><p>　　3.5 解相關(guān)LMS算法</p><p>　　LMS算法的一個(gè)主要缺點(diǎn)是其收斂速度比較慢，這主要是由于算法的輸入信號(hào)矢量的各元素具有一定的相關(guān)性。研究已經(jīng)表明，對(duì)輸入信號(hào)矢量解相關(guān)可以有效地加快LMS算法的收斂速度[8]。&l

98、t;/p><p>　　定義x(n)與x(n-1)在時(shí)刻n的相關(guān)系數(shù)為</p><p><b>　?。?-42）</b></p><p>　　根據(jù)定義，若，則稱(chēng)是的相干信號(hào)；若,則稱(chēng)與之間不相關(guān)；若，則稱(chēng)與相關(guān)。值越大，與之間的相關(guān)性就越強(qiáng)。</p><p>　　實(shí)際上，代表了信號(hào)中與相關(guān)的部分。如果中減去這一部分，相當(dāng)于一種

99、解相關(guān)運(yùn)算。定義解相關(guān)方向矢量為</p><p><b>　?。?-43）</b></p><p>　　另一方面，考慮自適應(yīng)迭代的收斂因子滿(mǎn)足下列最小化問(wèn)題的解，有</p><p><b>　?。?-44）</b></p><p>　　由此得到時(shí)變收斂因子為</p><p>

100、<b>　　（3-45）</b></p><p>　　這樣，解相關(guān)LMS自適應(yīng)算法的迭代公式為</p><p><b>　?。?-46）</b></p><p>　　上述解相關(guān)LMS算法可以看做一種自適應(yīng)輔助變量法，其中的輔助變量由給出。一般來(lái)說(shuō)，輔助變量的選取原則是，它應(yīng)該與滯后的輸入和輸出強(qiáng)度相關(guān)，而與干擾不相關(guān)。&l

101、t;/p><p><b>　　3.6 性能比較</b></p><p>　　LMS自適應(yīng)濾波器在問(wèn)世以來(lái)，受到了人們普遍的重視，得到了廣泛的應(yīng)用。這種濾波器的主要優(yōu)點(diǎn)是其收斂性能穩(wěn)定，且算法比較簡(jiǎn)單。然而，作為梯度算法的一種，LMS算法也有其固有的缺點(diǎn)，首先，這種方法一般來(lái)說(shuō)不能任意初始點(diǎn)出發(fā)通過(guò)最短的路徑到達(dá)極值點(diǎn)；其次，當(dāng)輸入信號(hào)自相關(guān)陣R的特征值在數(shù)值上分散性比較大

102、時(shí)，這種方法出現(xiàn)了許多關(guān)于自適應(yīng)濾波器的改進(jìn)算法，例如本文提到歸一化LMS算法、泄露LMS算法、解相關(guān)LMS算法以及TDO-LMS算法和MLMS算法。本節(jié)就其各種算法的性能進(jìn)行比較。</p><p>　　對(duì)于基本LMS算法來(lái)說(shuō)，收斂因子應(yīng)滿(mǎn)足下列收斂條件：</p><p>　　式中為自相關(guān)矩陣R的最大特征值[6]。</p><p>　　對(duì)于歸一化LMS算法來(lái)說(shuō)，收斂

103、因子應(yīng)滿(mǎn)足下列收斂條件：</p><p>　　就能夠保證經(jīng)過(guò)足夠大的n次迭代，自適應(yīng)濾波器能夠穩(wěn)定收斂[6]。</p><p>　　對(duì)于泄露LMS算法來(lái)說(shuō)，收斂因子應(yīng)滿(mǎn)足下列收斂條件：</p><p>　　對(duì)于極性LMS算法來(lái)說(shuō)，其主要優(yōu)點(diǎn)是計(jì)算量小，但它在梯度估計(jì)性能上有所退化，這是由于其較粗的量化精度所引起的，并由此引起了收斂速度的下降和穩(wěn)態(tài)誤差的增加[8]。&

104、lt;/p><p>　　根據(jù)自適應(yīng)權(quán)調(diào)整公式</p><p>　　可知，LMS算法相應(yīng)的梯度校準(zhǔn)值為隨機(jī)量，因此加權(quán)矢量將以隨機(jī)的方式變化。所以，LMS算法也稱(chēng)之為隨機(jī)梯度法。LMS算法由于加權(quán)矢量的隨機(jī)起伏造成的影響主要包括失調(diào)量、穩(wěn)態(tài)誤差等。所以對(duì)LMS自適應(yīng)算法的穩(wěn)態(tài)誤差也進(jìn)行了仿真。</p><p>　　第五章 LMS算法的應(yīng)用</p><p

105、>　　5.1 LMS類(lèi)均衡器</p><p>　　自適應(yīng)均衡器是在自適應(yīng)濾波理論基礎(chǔ)上建立起來(lái)的，包括非線性動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)濾波理論。我們考慮到的信道的時(shí)變特性和非線性，應(yīng)用某種準(zhǔn)則的自適應(yīng)算法對(duì)均衡器參數(shù)隨著信號(hào)和信道的變化做相應(yīng)的調(diào)整[6,8]。從自適應(yīng)均衡參數(shù)與接收信號(hào)的關(guān)系來(lái)看，大體上可分為線性均衡器和非線性均衡器。其中非線性均衡器按照功能和結(jié)構(gòu)則可分為非遞歸均衡器和遞歸均衡器，以及神經(jīng)智能均衡器。如

106、果根據(jù)算法來(lái)分，有自適應(yīng)最小均方誤差（LMS）均衡器、自適應(yīng)遞歸最小二乘（RLS）均衡器、自適應(yīng)格型最小二乘（LLS）均衡器、自適應(yīng)平方根RLS均衡器、自適應(yīng)最大似然時(shí)序估計(jì)均衡器、混合滑動(dòng)指數(shù)窗自適應(yīng)判決反饋均衡器，以及盲自適應(yīng)均衡器等。</p><p>　　我們只對(duì)其中一種均衡器進(jìn)行研究。LMS算法是一類(lèi)比較重要的自適應(yīng)算法，其顯著特點(diǎn)是比較簡(jiǎn)單，不需要計(jì)算有關(guān)的相關(guān)函數(shù)，也不需要矩陣求逆運(yùn)算[8]。關(guān)于LM

107、S算法的基本原理，在2.2節(jié)進(jìn)行了詳細(xì)的討論，本節(jié)主要討論LMS算法在信道均衡中的應(yīng)用。</p><p>　　5.1.1 解相關(guān)LMS（Decorrelation LMS,DLMS）均衡算法</p><p>　　根據(jù)相關(guān)文獻(xiàn)，如果利用輸入信號(hào)的正交分量更新自適應(yīng)濾波器的參數(shù)，可以加快LMS算法的收斂速度，這里提出的解相關(guān)LMS算法就是通過(guò)解相關(guān)算法利用輸入信號(hào)的正交分量更新濾波器的參數(shù)。&

108、lt;/p><p>　　首先定義均衡器抽頭輸入向量與在n時(shí)刻的相關(guān)系</p><p><b>　?。?-1）</b></p><p>　　則解相關(guān)運(yùn)算就是從減去上一時(shí)刻與其相關(guān)的部分，并用解相關(guān)的結(jié)果作為更新方向向量，即</p><p><b>　?。?-2）</b></p><p&

109、gt;　　另外，步長(zhǎng)參數(shù)應(yīng)該滿(mǎn)足下式的最小問(wèn)題解，</p><p>　　其中，，為期望響應(yīng)，即</p><p><b>　　（5-3）</b></p><p>　　下降算法的均衡器抽頭參數(shù)迭代表達(dá)式為</p><p><b>　?。?-4）</b></p><p>　　將式（

110、5-2）和式（5-3）代入上式即可更新均衡器抽頭系數(shù)。</p><p>　　5.1.2 變化域解相關(guān)LMS均衡算法</p><p>　　對(duì)LMS算法的改進(jìn)還可以通過(guò)對(duì)輸入信號(hào)向量x進(jìn)行酉變換實(shí)現(xiàn)，通過(guò)酉變換可以提高收斂速度，而計(jì)算量并沒(méi)有明顯變化，此類(lèi)算法及其變型統(tǒng)稱(chēng)為變換域自適應(yīng)濾波算法[4,8]。</p><p>　　其中酉變換可以使用DFT,DCT和DHT等變

111、換方法。</p><p>　　設(shè)S是一個(gè)酉變換矩陣，即</p><p><b>　　（5-5）</b></p><p>　　其中為一常數(shù)；用酉矩陣S對(duì)輸入信號(hào)向量x進(jìn)行酉變換，可以得到</p><p><b>　?。?-6）</b></p><p>　　式中，表示變換后的信號(hào)

112、向量，酉變換后的均衡器抽頭權(quán)向量變?yōu)?lt;/p><p><b>　?。?-7）</b></p><p><b>　　則預(yù)測(cè)誤差可表示為</b></p><p><b>　　（5-8） </b></p><p>　　一般地，進(jìn)行酉變換前，輸入信號(hào)之間有相關(guān)性，變換后，相關(guān)性被基本消

113、除，所以交換域算法相當(dāng)于一種解相關(guān)算法。從濾波的角度來(lái)講，原來(lái)的M階濾波器通過(guò)變換成為新的信道濾波器。</p><p><b>　　總結(jié)上述算法</b></p><p><b>　　步驟1：初始化 </b></p><p>　　步驟2：給定一酉變換矩陣，更新各參量：</p><p><b>

114、;　?。?-9）</b></p><p><b>　　（5-10）</b></p><p><b>　?。?-11）</b></p><p>　　5.2 自適應(yīng)信號(hào)分離器</p><p>　　參考輸入是原始輸入的k步延時(shí)的自適應(yīng)對(duì)消器可以組成自適應(yīng)預(yù)測(cè)系統(tǒng)、譜線增強(qiáng)系統(tǒng)以及信號(hào)分離系統(tǒng)，

115、本節(jié)主要討論分離器。圖5-1表示一個(gè)用作信號(hào)分離器目的的系統(tǒng)，當(dāng)輸入中包括兩種成分；寬帶信號(hào)（或噪聲）與周期信號(hào)（或噪聲）時(shí)，為了分離這兩種信號(hào)，可以一方面將該輸入信號(hào)送入端，另一方面把它延時(shí)足夠長(zhǎng)時(shí)間后送入AF的端。經(jīng)過(guò)延時(shí)后帶寬成分已與原來(lái)的輸入不相關(guān)，而周期性成分延時(shí)前后則保持相關(guān)[5]。</p><p>　　圖5-1 自適應(yīng)信號(hào)分離器原理圖</p><p>　　于是在輸出中將周期成

116、分抵消只存在寬帶成分，在輸出中只存在周期成分，此時(shí)AF自動(dòng)調(diào)節(jié),以達(dá)到對(duì)周期成分起選通作用。如果將所得到的值利用FFT變換成頻域特性，則將得到窄帶選通的“諧振”特性曲線。該方法可以有效地應(yīng)用于從白噪聲中提取周期信號(hào)。</p><p>　　5.3 自適應(yīng)陷波器</p><p>　　如果信號(hào)中的噪聲是單色的干擾（頻率為的正弦波干擾），則消除這種干擾的方法是應(yīng)用陷波器。希望陷波器的特性理想，即其

117、缺口的肩部任意窄，可馬上進(jìn)入平的區(qū)域[5]。用自適應(yīng)濾波器組成的陷波器與一般固定網(wǎng)絡(luò)的陷波器比較有下列優(yōu)點(diǎn)：</p><p>　　能夠自適應(yīng)地準(zhǔn)確跟蹤干擾頻率；</p><p><b>　　容易控制帶寬；</b></p><p>　　圖5-2給出了一個(gè)具有兩個(gè)權(quán)的單頻干擾對(duì)消器組成的陷波器。其原始輸入為：任意信號(hào)與單頻干擾的疊加，經(jīng)采樣后送入端

118、，故有。參考輸入為一標(biāo)準(zhǔn)正弦波，經(jīng)采樣后送入和端，其中后者經(jīng)過(guò)相移，因而,兩個(gè)權(quán)值和可以使得組合后得到，其幅度和相位都可以與原始輸入中的干擾分量相同，使輸出中的單頻干擾得以抵消，達(dá)到陷波的目的。</p><p>　　圖5-2 自適應(yīng)陷波器原理框圖</p><p>　　5.4系統(tǒng)辨識(shí)或系統(tǒng)建模</p><p>　　對(duì)于一個(gè)真實(shí)的物理系統(tǒng)，人們主要關(guān)心其輸入和輸出特性，

119、即對(duì)信號(hào)的傳輸特性，而不要求完全了解其內(nèi)部結(jié)構(gòu)。系統(tǒng)可以是一個(gè)或多個(gè)輸入，也可以有一個(gè)或多個(gè)輸出。通信系統(tǒng)的辨識(shí)問(wèn)題是通信系統(tǒng)的一個(gè)非常重要的問(wèn)題。所謂系統(tǒng)辨識(shí)，實(shí)質(zhì)上是根據(jù)系統(tǒng)的輸入和輸出信號(hào)來(lái)估計(jì)或確定系統(tǒng)的特性以及系統(tǒng)的單位脈沖響應(yīng)或傳遞函數(shù)。</p><p>　　系統(tǒng)辨識(shí)和建模是一個(gè)非常廣泛的概念，在控制、通信和信號(hào)處理等領(lǐng)域里都有重要意義。實(shí)際上，系統(tǒng)辨識(shí)和建模不僅局限于傳統(tǒng)的工程領(lǐng)域，而且可以用來(lái)研究

120、社會(huì)系統(tǒng)、經(jīng)濟(jì)系統(tǒng)和生物系統(tǒng)等。本節(jié)只討論通信和信號(hào)處理中的系統(tǒng)辨識(shí)和建模問(wèn)題。采用濾波器作為通信信道的模型，并利用自適應(yīng)系統(tǒng)辨識(shí)的方法對(duì)通信信道進(jìn)行辨識(shí)，從而可以進(jìn)一步地對(duì)通信信道進(jìn)行均衡處理。</p><p>　　如果把通信信道看成是一個(gè)“黑箱”，僅知道“黑箱”的輸入和輸出；以一個(gè)自適應(yīng)濾波器作為這個(gè)“黑箱”的模型，并且使濾波器具有與“黑箱”同樣的輸入和輸出。自適應(yīng)濾波器通過(guò)調(diào)制自身的參數(shù)，使濾波器的輸出與“