極速學(xué)習(xí)理論與應(yīng)用研究.pdf

1、西安電子科技大學(xué)學(xué)位論文獨(dú)創(chuàng)性(或創(chuàng)新性)聲明秉承學(xué)校嚴(yán)謹(jǐn)?shù)膶W(xué)風(fēng)和優(yōu)良的科學(xué)道德，本人聲明所呈交的論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果；也不包含為獲得西安電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中做了明確的說(shuō)明并表示了謝意。申請(qǐng)學(xué)位論文與資料若有不實(shí)之處，

2、本人承擔(dān)一切的法律責(zé)任。本人簽名：牽劾至日期玉絲：堡!!生西安電子科技大學(xué)關(guān)于論文使用授權(quán)的說(shuō)明本人完全了解西安電子科技大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)單位屬西安電子科技大學(xué)。學(xué)校有權(quán)保留送交論文的復(fù)印件，允許查閱和借閱論文；學(xué)?？梢怨颊撐牡娜炕虿糠謨?nèi)容，可以允許采用影印、縮印或其它復(fù)制手段保存論文。同時(shí)本人保證，畢業(yè)后結(jié)合學(xué)位論文研究課題再撰寫(xiě)的文章一律署名單位為西安電子科技大學(xué)。(保

3、密的論文在解密后遵守此規(guī)定)本學(xué)位論文屬于保密，在一年解密后適用本授權(quán)書(shū)。本人簽名：4至麴壘日期擔(dān)l墾!墮：!生導(dǎo)師簽名：車(chē)獨(dú)遙篁裝日期21絲：!!：!!摘要mlllIIIIIEIIIIIIIIIIIIlllIiilllliilll||1l—Y2067869極速學(xué)習(xí)算法是最近幾年提出的一種新穎的機(jī)器學(xué)習(xí)算法，最早應(yīng)用于單隱層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，目前在函數(shù)逼近，時(shí)間序列預(yù)測(cè)，模式識(shí)別等方面有成功的應(yīng)用。以單隱層前饋神經(jīng)網(wǎng)絡(luò)為模型，極速學(xué)習(xí)

4、算法只要求激活函數(shù)可以無(wú)窮階的可微，在輸入權(quán)值和隱藏層偏置隨機(jī)設(shè)置的情況下，網(wǎng)絡(luò)的所有參數(shù)就不必迭代的調(diào)整，而是通過(guò)求一個(gè)最小化誤差二范數(shù)的最d“乘解獲得。因?yàn)楫?dāng)隱藏層參數(shù)隨機(jī)設(shè)置時(shí)，輸出層權(quán)值能夠以解析的形式求出解的形式，所以能夠?qū)崿F(xiàn)非?？焖俚膶W(xué)習(xí)，稱(chēng)為極速學(xué)習(xí)。該方法具有原理簡(jiǎn)單、學(xué)習(xí)快速、適應(yīng)性好的特點(diǎn)。雖然極速學(xué)習(xí)簡(jiǎn)單快速，但是該算法并沒(méi)有利用到數(shù)據(jù)的判別信息，目前也沒(méi)有將判別信息融入極速學(xué)習(xí)的方法。與此同時(shí)，極速學(xué)習(xí)，其網(wǎng)絡(luò)一

5、般采用較大規(guī)模的隱藏層結(jié)構(gòu)，需要優(yōu)化，而壓縮采樣技術(shù)提供了一種有效的數(shù)據(jù)稀疏化方法，將兩種方法結(jié)合起來(lái)，也是一個(gè)新穎的研究方向。最后，針對(duì)實(shí)際問(wèn)題中的在線學(xué)習(xí)需求，需要將有效的學(xué)習(xí)模型推廣至在線模式。針對(duì)以上問(wèn)題，本文主要對(duì)極速學(xué)習(xí)算法進(jìn)行了較為深入的研究，所做工作主要如下：(1)提出利用判別信息的極速學(xué)習(xí)算法。這里采用了兩種方式來(lái)使用判別信息。第一種方式采用了構(gòu)建正則化項(xiàng)的方法，在構(gòu)建正則化項(xiàng)的時(shí)候，同時(shí)嵌入了數(shù)據(jù)的判別信息和結(jié)構(gòu)信息

6、；第二種方式采用了線性判別分析對(duì)極速學(xué)習(xí)網(wǎng)絡(luò)的隱藏層進(jìn)行特征提取和降維，充分利用了隱藏層所包含的判別信息。兩種方式都提高了極速學(xué)習(xí)算法的效果。(2)利用壓縮采樣技術(shù)優(yōu)化極速學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)。壓縮采樣技術(shù)的優(yōu)點(diǎn)在于只需要很低的采樣率就能高效的還原數(shù)據(jù)?；诖耍瑢O速學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)進(jìn)行壓縮采樣就能實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。這種結(jié)構(gòu)優(yōu)化方法不僅可以降低網(wǎng)絡(luò)的復(fù)雜度，而且有可能帶來(lái)更好的推廣能力。此外，還利用壓縮采樣技術(shù)類(lèi)似的讓極速學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)數(shù)據(jù)的

7、特征選擇。(3)在線極速脊波核函數(shù)網(wǎng)絡(luò)研究。這里提出了兩種在線極速學(xué)習(xí)算法。這里，首先利用脊波核函數(shù)構(gòu)建極速學(xué)習(xí)網(wǎng)絡(luò)。第一種方式利用核在線最小二乘方法進(jìn)行在線學(xué)習(xí)，利用核方法改進(jìn)了在線極速學(xué)習(xí)方法；第二種方式是在線性判別分析的基礎(chǔ)上，利用滑窗技術(shù)對(duì)隱藏層進(jìn)行實(shí)時(shí)更新，由于不斷融入數(shù)據(jù)的判別信息，實(shí)現(xiàn)了一種新的在線極速學(xué)習(xí)方法。本文的工作得到了國(guó)家自然科學(xué)基金(61072108，60601029，60971112，61173090)，教育