BP神經(jīng)網(wǎng)絡分類器優(yōu)化技術(shù)研究.pdf

1、由于其強大的學習能力，人工神經(jīng)網(wǎng)絡特別是BP神經(jīng)網(wǎng)絡已經(jīng)成為研究模式識別如人臉辨識、字符識別、車牌識別(LPR)、語音識別和信號處理等分類問題的重要工具。研究證明，神經(jīng)網(wǎng)絡的性能主要取決于三個因素：首先是用于訓練神經(jīng)網(wǎng)絡的樣本的特征選擇方法，其次是神經(jīng)網(wǎng)絡的優(yōu)化算法，最后就是神經(jīng)網(wǎng)絡隱層節(jié)點的選擇方法。采用合適的特征選擇模型，尋找最佳的神經(jīng)網(wǎng)絡優(yōu)化算法和隱層節(jié)點的選擇方法，對改善BP神經(jīng)網(wǎng)絡分類器的分類識別率具有重要的理論和實用價值。<

2、br>　　高維特征向量會給神經(jīng)網(wǎng)絡的訓練增加巨大的計算開銷和“過訓練”的危險，因此有必要通過特征選擇的方法刪除無關特征，選擇最小的特征子集以保持或改善神經(jīng)網(wǎng)絡分類器的泛化性能。另一方面，以神經(jīng)網(wǎng)絡分類器的誤差率作為評價準則的特征選擇方法能比其它方法獲得更好的性能，因此它也能更好地處理那些相關特征較多的數(shù)據(jù)集。
　　提出了一種混合特征選擇模型用于從潛在的相關特征中選擇那些最重要的特征。該模型包括兩部分：filter部分與wrappe

3、r部分。在filter部分，四種不同的Filter方法分別對候選特征進行獨立排序，在融合后進一步生成綜合特征排序，然后根據(jù)綜合排序產(chǎn)生遺傳算法(GA)的初始種群。在wrapper部分，GA算法根據(jù)神經(jīng)網(wǎng)絡的分類準確率評價特征子集，以便搜索到最優(yōu)的特征子集。實驗數(shù)據(jù)表明，模型不僅能有效地減少特征子集的大小，而且還進一步提高分類識別的準確率和效果。
　　為了克服BP算法的缺點，提出了一種集成遺傳算法和禁忌搜索算法(TS)兩者優(yōu)點的GT

4、A優(yōu)化算法。為了在一個大的解空間搜索到一個理想的、有利于找到最優(yōu)解的初始解，訓練過程分為兩個階段：首先通過GA算法找到一個理想的初始解，然后通過TS算法選擇最優(yōu)解。不同于其他主要的算法，在第一階段，TS算法是從被挑選的解開始搜索進程，而不是從GA產(chǎn)生的新種群中的隨機解開始。而當前解則是候選鄰域解集中未被禁忌的最優(yōu)解。為了避免重復搜索已訪問過的區(qū)域，通過加入新的最優(yōu)解替換較早進入禁忌表的解來更新禁忌列表。當滿足禁忌條件時，則以當前解為新的

5、搜索中心，將搜索半徑減半并重新進行搜索。
　　經(jīng)驗表明，神經(jīng)網(wǎng)絡的性能主要取決于網(wǎng)絡的結(jié)構(gòu)，特別是隱層節(jié)點數(shù)。網(wǎng)絡越小越好。然而規(guī)模小的網(wǎng)絡比規(guī)模大的誤差曲線更復雜，包含更多的局部極小點。反之，規(guī)模大的網(wǎng)絡能獲得理想的精度，但過于復雜的網(wǎng)絡結(jié)構(gòu)卻可能帶來過訓練問題，無法取得好的泛化性能。因此，選擇合適的隱層節(jié)點數(shù)是一門專門的學問。為了快速找到最合適的神經(jīng)網(wǎng)絡隱層節(jié)點數(shù)，一種新的“三點式搜索”算法被提出。
　　如果分類誤差為一

6、個啟發(fā)函數(shù)，那么隱層節(jié)點數(shù)與分類誤差的關系就是一個拋物線函數(shù)，用E(H)表示?！叭c式搜索”算法首先根據(jù)6個經(jīng)驗公式計算出隱層節(jié)點數(shù)來確定一個搜索區(qū)間，并在該區(qū)間中選取三個點H_min, H_mid和H_max，然后根據(jù)它們之間的誤差大小關系分別調(diào)整這三個點的值，逐步縮小搜索區(qū)域，最后找到一個最優(yōu)的隱層節(jié)點數(shù)。
　　為了動態(tài)調(diào)整神經(jīng)網(wǎng)絡的隱層節(jié)點，提出了一種結(jié)合遺傳算法和強化學習Agent優(yōu)點的混合學習模型。在該模型中，神經(jīng)網(wǎng)絡A

7、gent（NN Agent）和強化學習Agent（RL Agent）彼此合作完成自動調(diào)整神經(jīng)網(wǎng)絡結(jié)構(gòu)的任務。NN agent負責增加或裁減隱層節(jié)點以確定最優(yōu)的節(jié)點數(shù)，同時對神經(jīng)網(wǎng)絡的權(quán)值進行優(yōu)化調(diào)整。RL agent接收來自NN agent的獎勵，然后根據(jù)在過去的經(jīng)驗和累計獎勵值的基礎上能產(chǎn)生最大獎勵的優(yōu)化策略調(diào)整隱層節(jié)點的影響因子，而不必像AMGA算法那樣需要根據(jù)很難獲取的經(jīng)驗公式去計算合并節(jié)點的影響因子。測試結(jié)果表明，算法不僅能減少