神經(jīng)網(wǎng)絡(luò)優(yōu)化方法及動(dòng)態(tài)特性分析.pdf

1、在科學(xué)研究與工程應(yīng)用中，經(jīng)常會(huì)碰到約束優(yōu)化問題。傳統(tǒng)的數(shù)值計(jì)算方法涉及到復(fù)雜的迭代過程，需要大量的計(jì)算時(shí)間，因此限制了它在大規(guī)模規(guī)劃或?qū)崟r(shí)優(yōu)化方面的應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)是一種具有大量神經(jīng)元相互連接的并行分布式處理器，在高效運(yùn)算方面比傳統(tǒng)的數(shù)值迭代方法具有更多優(yōu)勢(shì)，所以常被用于解決實(shí)時(shí)優(yōu)化問題。本文對(duì)神經(jīng)網(wǎng)絡(luò)優(yōu)化方法及動(dòng)態(tài)特性進(jìn)行了深入系統(tǒng)的研究，主要工作和成果如下： 1．介紹了神經(jīng)網(wǎng)絡(luò)優(yōu)化方法與動(dòng)力系統(tǒng)的基本理論，綜述了常見的神經(jīng)

2、網(wǎng)絡(luò)優(yōu)化模型。 2．提出了求解凸二次規(guī)劃問題的神經(jīng)網(wǎng)絡(luò)方法。凸二次規(guī)劃問題的目標(biāo)函數(shù)一般可表示為，f(x)=1/2x<'T>Qx+q<'T>x，其中Q為正定矩陣或半正定矩陣。利用鞍點(diǎn)定理，將優(yōu)化問題的求解轉(zhuǎn)化為一組投影方程求解，建立了投影神經(jīng)網(wǎng)絡(luò)，研究了它的動(dòng)態(tài)特性，嚴(yán)格證明了網(wǎng)絡(luò)的穩(wěn)定性與收斂性。 3．提出了求解具有線性等式約束的非線性凸優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)方法．基于線性等式約束特點(diǎn)，構(gòu)造延時(shí)投影神經(jīng)網(wǎng)絡(luò)，通過選擇合適的

3、延時(shí)，嚴(yán)格證明了所提出的網(wǎng)絡(luò)是全局指數(shù)穩(wěn)定的。當(dāng)目標(biāo)函數(shù)嚴(yán)格凸時(shí)，證明了該網(wǎng)絡(luò)全局指數(shù)收斂到優(yōu)化問題的唯一最優(yōu)解。這個(gè)方法的特點(diǎn)是將等式約束設(shè)計(jì)在投影映射上，簡化了網(wǎng)絡(luò)的結(jié)構(gòu)。 4．提出了求解具有非線性不等式約束的凸優(yōu)化問題的神經(jīng)網(wǎng)絡(luò)方法．當(dāng)決策變量無上下界約束時(shí)，利用K-K-T條件與Fischer-Burmeister函數(shù)，將優(yōu)化問題的求解轉(zhuǎn)化為方程組求解．通過構(gòu)造合適的能量函數(shù)，利用梯度方法建立神經(jīng)網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)被證明是Ly

4、apunov穩(wěn)定的，系統(tǒng)的解軌線能夠收斂到優(yōu)化問題的一個(gè)最優(yōu)解。當(dāng)決策變量具有上下界約束時(shí)，建立了兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。第一個(gè)模型為投影神經(jīng)網(wǎng)絡(luò)，它利用鞍點(diǎn)定理，將優(yōu)化問題求解轉(zhuǎn)化為變分不等式求解。根據(jù)變分不等式與投影方程之間的關(guān)系，建立投影神經(jīng)網(wǎng)絡(luò)模型。這個(gè)網(wǎng)絡(luò)被嚴(yán)格證明足全局穩(wěn)定的與收斂的。第二個(gè)模型為反饋神經(jīng)網(wǎng)絡(luò)，它將優(yōu)化問題轉(zhuǎn)化為一系列具有變量上下界簡單約束的凸優(yōu)化問題，建立一系列投影神經(jīng)網(wǎng)絡(luò)，嚴(yán)格證明了這些投影神經(jīng)網(wǎng)絡(luò)的平衡點(diǎn)序列

5、收斂到原優(yōu)化問題的最優(yōu)解。這個(gè)網(wǎng)絡(luò)的特點(diǎn)是沒有罰因子，沒有Lagrange乘子，沒有對(duì)偶變量，在結(jié)構(gòu)上非常簡單，易于硬件實(shí)現(xiàn)。 5．提出了求解一類非凸優(yōu)化問題的隨機(jī)神經(jīng)網(wǎng)絡(luò)優(yōu)化與兩階段神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。在目標(biāo)函數(shù)具有局部凸性的條件下，建立了求局部最優(yōu)解的投影神經(jīng)網(wǎng)絡(luò)。為獲取全局最優(yōu)解，在網(wǎng)絡(luò)上加入遞減的白噪聲，建立隨機(jī)神經(jīng)網(wǎng)絡(luò)模型。由于噪聲起著擾動(dòng)的作用，有利于避免網(wǎng)絡(luò)陷入局部最優(yōu)解，增大網(wǎng)絡(luò)收斂于全局最優(yōu)解的概率。兩階段神經(jīng)網(wǎng)