熵在BP網(wǎng)絡(luò)泛化增強(qiáng)技術(shù)中的應(yīng)用.pdf

1、神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)中最重要的模型之一，它基于無次序、無規(guī)則的樣本數(shù)據(jù)集，試圖從中提取出描述此樣本數(shù)據(jù)集特征的數(shù)學(xué)模型。其中，BP神經(jīng)網(wǎng)絡(luò)因其結(jié)構(gòu)簡單、算法易于實現(xiàn)且理論堅實，能夠?qū)崿F(xiàn)復(fù)雜的非線性映射，所以廣泛應(yīng)用于模式識別、智能控制等領(lǐng)域。但是，在BP網(wǎng)絡(luò)實際應(yīng)用中也存在一些不足，其主要有收斂速度慢、易于產(chǎn)生過擬合，進(jìn)而影響了網(wǎng)絡(luò)的泛化能力。網(wǎng)絡(luò)的泛化能力也就是對于未見樣本的辨識能力，是體現(xiàn)神經(jīng)網(wǎng)絡(luò)性能的一個重要指標(biāo)。
　　 提

2、高網(wǎng)絡(luò)泛化能力的一個指導(dǎo)思想是訓(xùn)練出在訓(xùn)練集能夠達(dá)到精度要求并且其結(jié)構(gòu)盡可能簡單的網(wǎng)絡(luò)。本文首先研究了網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法，通過剪枝的方法在網(wǎng)絡(luò)訓(xùn)練過程中刪去一些不重要的單元和鏈接。重點(diǎn)分析了在傳統(tǒng)的誤差函數(shù)中加入懲罰項的間接剪枝法。在此基礎(chǔ)上，針對網(wǎng)絡(luò)收斂速度慢、產(chǎn)生過擬合的不足，設(shè)計了一種基于信息理論學(xué)習(xí)的懲罰項函數(shù)，通過正則化方法把一些先驗知識融入到網(wǎng)絡(luò)的學(xué)習(xí)中，旨在提高泛化能力，同時解決訓(xùn)練效率問題。最后，實驗比較了傳統(tǒng)BP算法，帶