擬牛頓法及其收斂性.pdf

1、本文，我們首先提出一種求解單調(diào)非線性方程組的正則化的BFGS算法和L-BFGS算法，在不假設(shè)方程組的Jacobian矩陣非奇異的條件下得到了這兩種方法的全局收斂性.這些方法的一個(gè)顯著優(yōu)點(diǎn)是迭代點(diǎn)到解集的距離單調(diào)遞減.此外，本文算法的全局收斂性證明不需要假設(shè)方程可微，因而能夠用于求解非光滑的非線性方程組.與Gauss-Newton型BFGS算法相比較，本文算法中的迭代矩陣的條件數(shù)要小很多.而且，所提出的L-BFGS方法適合大規(guī)模非線性方程

2、組的求解.我們還對(duì)這兩個(gè)算法進(jìn)行了數(shù)值實(shí)驗(yàn)，結(jié)果表明它們非常有效. 為了求解大型的一般的非線性方程組，基于Li和Fukushima的Gauss-Newton型BFGS公式，我們?cè)诘?章提出了一種非單調(diào)的譜梯度方法并建立了算法的全局收斂性定理.本文的方法是求解無(wú)約束最優(yōu)化問(wèn)題的譜梯度方法在求解非線性方程組中的一種推廣. 其次，我們?cè)诘?章提出一種非單調(diào)的Armijo線性搜索技術(shù)并證明MBFGS方法和CBFGS方法在此搜索下

3、求解非凸函數(shù)極小化問(wèn)題的全局收斂性.在不假設(shè)迭代矩陣序列有界的前提下建立算法的全局收斂性定理.數(shù)值結(jié)果表明，采用非單調(diào)搜索的MBFGS方法比單調(diào)的BFGS方法的數(shù)值效果明顯要好. 在第5章，我們提出一種求解無(wú)約束優(yōu)化問(wèn)題的非單調(diào)的BFGS信賴域方法并證明該方法求解非凸極小化問(wèn)題的全局收斂性.該算法的優(yōu)點(diǎn)是信賴域子問(wèn)題的目標(biāo)函數(shù)是一個(gè)嚴(yán)格凸二次函數(shù)，因而信賴域子問(wèn)題的求解相對(duì)容易.而且，我們?cè)诓患僭O(shè)迭代矩陣序列有界的前提下建立算法

4、的全局收斂性定理.在第6章，利用MBFGS割線條件，我們提出一種求解無(wú)約束優(yōu)化問(wèn)題的下降的非線性共軛梯度法并證明該方法求解非凸極小化問(wèn)題的全局收斂性.該方法的一個(gè)優(yōu)點(diǎn)是能產(chǎn)生不依賴線性搜索的充分下降方向. 在第7章，我們提出一種求解二階錐互補(bǔ)問(wèn)題(SOCCP)的光滑化的Broyden方法.利用超平面投影方法的思想，我們還提出一種求解SOCCP問(wèn)題的投影牛頓法，在適當(dāng)?shù)臈l件下證明算法的全局收斂性. 最后我們研究Broyde