關(guān)于隨機權(quán)網(wǎng)絡(luò)的_1稀疏正則化與Adaboost算法及其應(yīng)用研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是理論化的人腦神經(jīng)網(wǎng)絡(luò)的數(shù)學模型,其已有相當廣泛的應(yīng)用.相對于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)算法,隨機權(quán)神經(jīng)網(wǎng)絡(luò)(Neural Networks with Random Weights, NNRW)算法不但訓練速度快,而且逼近性能較好,因此,它越來越受到人們的關(guān)注,并已被廣泛應(yīng)用于各領(lǐng)域之中.
　　本論文首先分析了三種不同的稀疏重構(gòu)算法在音頻信號重構(gòu)中的優(yōu)缺點,這

2、三種算法分別是正交匹配追蹤算法、迭代收縮閾值法、增廣拉格朗日乘子法.這一部分使我們深入理解稀疏重構(gòu)算法.
　　然后,針對隨機權(quán)神經(jīng)網(wǎng)絡(luò)算法,結(jié)合稀疏重構(gòu)算法及集成學習的思想,提出了兩種有效的算法——稀疏正則化算法和自適應(yīng)的隨機權(quán)神經(jīng)網(wǎng)絡(luò)算法.隨機權(quán)神經(jīng)網(wǎng)絡(luò)雖然是一種有效的前饋神經(jīng)網(wǎng)絡(luò)(FNNs),尤其是內(nèi)權(quán)和偏置值的隨機選取極大地提高了網(wǎng)絡(luò)的學習速率,并克服了其他學習算法的一些不足.但是,其在計算外權(quán)的過程中也存在著缺陷,比如穩(wěn)定

3、性較差,計算內(nèi)存消耗過大.我們就此缺陷提出了一個新的算法——稀疏正則化算法.我們結(jié)合梯度投影算法給出了一種隨機權(quán)網(wǎng)絡(luò)外權(quán)的迭代解,并提出了相應(yīng)的參數(shù)選擇方法和算法終止準則.實驗說明所提出的算法具有優(yōu)勢,尤其是當隱層神經(jīng)元數(shù)較多和訓練樣本較大時,所給出的算法仍就可以計算外權(quán),不僅有更好的穩(wěn)定性還可以有效的避免過擬合現(xiàn)象.
　　最后,結(jié)合集成學習的思想,我們把隨機權(quán)神經(jīng)網(wǎng)絡(luò)算法當作一弱分類器,給定對應(yīng)的分布權(quán)值的迭代公式和誤差公式,通