Ridge Polynomial神經(jīng)網(wǎng)絡(luò)帶動(dòng)量項(xiàng)算法和灰度剪枝算法的研究.pdf

1、在對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過(guò)程中，梯度算法被應(yīng)用的最為廣泛。但是，梯度算法也存在著收斂速度慢及過(guò)擬合的缺點(diǎn)。本文主要針對(duì)RidgePolynomial神經(jīng)網(wǎng)絡(luò)，通過(guò)采用動(dòng)量項(xiàng)法和基于灰度理論的剪枝算法以解決上述缺點(diǎn)。主要研究?jī)?nèi)容如下:
　　第一，由于傳統(tǒng)梯度訓(xùn)練算法收斂速度慢，所以，文中提出了一種將動(dòng)量項(xiàng)加到傳統(tǒng)梯度算法權(quán)值變化算法中以訓(xùn)練Ridge Polynomial神經(jīng)網(wǎng)絡(luò)。此算法不僅提高了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，而且其收斂速度也得到

2、了很大提高。理論分析證明了所提出算法具有收斂性，同時(shí)，實(shí)驗(yàn)結(jié)果也說(shuō)明了算法的有效性。
　　第二，由于傳統(tǒng)的Ridge Polynomial神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)隨著隱節(jié)點(diǎn)數(shù)的增多，網(wǎng)絡(luò)規(guī)模也急劇增大，因此文中提出一種將灰色關(guān)聯(lián)分析應(yīng)用到RidgePolynomial神經(jīng)網(wǎng)絡(luò)隱節(jié)點(diǎn)的確定中的算法以實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。根據(jù)神經(jīng)網(wǎng)絡(luò)縱向、橫向灰色關(guān)聯(lián)度的分析來(lái)反映出神經(jīng)網(wǎng)絡(luò)各節(jié)點(diǎn)輸出與網(wǎng)絡(luò)最終輸出的相關(guān)緊密程度。先用縱向關(guān)聯(lián)度確定出需要被減去