基于Lagrange的神經(jīng)網(wǎng)絡(luò)解決非光滑非凸優(yōu)化問題的研究.pdf

1、許多工程應(yīng)用諸如信號(hào)處理，模式識(shí)別，最優(yōu)控制等都可以抽象為優(yōu)化問題，而且其中大部分為非線性優(yōu)化問題。由于傳統(tǒng)的拉格朗日神經(jīng)網(wǎng)絡(luò)模型并不能解決非凸優(yōu)化問題，因此針對(duì)目標(biāo)函數(shù)非光滑非凸的這一類非線性優(yōu)化問題，通過改進(jìn)傳統(tǒng)拉格朗日函數(shù)，提出了兩種不同的神經(jīng)網(wǎng)絡(luò)模型，并對(duì)這兩種模型進(jìn)行了理論分析和實(shí)例驗(yàn)證。
　　首先借鑒罰函數(shù)的思想，基于拉格朗日乘子理論，提出了一種新型的拉格朗日神經(jīng)網(wǎng)絡(luò)模型。因?yàn)榱P函數(shù)方法罰因子趨于無窮大時(shí)容易導(dǎo)致病態(tài)問

2、題，且其收斂速度較慢，該模型針對(duì)此問題，設(shè)定固定的罰因子，且在傳統(tǒng)拉格朗日函數(shù)的基礎(chǔ)上增加懲罰項(xiàng)，既可以克服病態(tài)問題，又能使網(wǎng)絡(luò)軌跡收斂加快。該模型能夠找到優(yōu)化問題的解，并且收斂軌跡最終趨于關(guān)鍵點(diǎn)集。然后實(shí)例驗(yàn)證此網(wǎng)絡(luò)模型能夠有效的解決此類優(yōu)化問題。
　　其次，通過引入一個(gè)帶參數(shù)的等式約束相關(guān)項(xiàng)，基于拉格朗日乘子理論，構(gòu)造了增廣拉格朗日神經(jīng)網(wǎng)絡(luò)模型。該相關(guān)項(xiàng)并不影響求解原始優(yōu)化問題的優(yōu)化解，且其參數(shù)具有凸化目標(biāo)函數(shù)和加快收斂速度的