線性約束最優(yōu)化問題的投影梯度法.pdf

1、最優(yōu)化是一門應用性很強的學科．近年來，隨著計算機的發(fā)展以及實際問題的需要，大規(guī)模優(yōu)化問題越來越受到重視．于是，快速有效的算法成為研究的熱門方向． 最優(yōu)化問題分為無約束最優(yōu)化問題(古典的求函數(shù)極值問題)和帶約束最優(yōu)化問題，對最優(yōu)化問題的研究是近年米運籌學的熱門問題，在經(jīng)典最優(yōu)化問題的基礎上許多國內(nèi)外學者對算法進行了改進和創(chuàng)新，提出了一大批新算法．對于約束最優(yōu)化問題的研究一直是優(yōu)化專家們研究的熱門方向之一．其中比較著名的有二次規(guī)劃、

2、逐步二次規(guī)劃法、罰函數(shù)法、信賴域法、約束變尺度法和可行方向法等． 在約束最優(yōu)化問題的算法中怎樣尋找有效的下降方向是構(gòu)造算法的重要內(nèi)容，在尋找下降方向方面可行方向法中的投影梯度法有效的解決了下降方向的尋找問題，利用線性約束問題邊界點的任意方向在邊界上的投影都足可行方向，而負梯度方向的投影就是一個下降方向．60年代初Rosen提出投影梯度法的基本思想，自從Rosen提出該方法以后，對它的收斂性問題不少人進行了研究，但一般都是對算法作

3、出某些修正后才能證明其收斂的，直到最近對Rosen算法本身的收斂性的證明才予以解決．投影梯度法是最速下降法對約束問題的推廣，因此沒有較快的收斂速度，為了解決這個問題很多中外學者把發(fā)展得比較成熟的無約束最優(yōu)化算法作類似的推廣，其中共軛梯度方法是近年發(fā)展的很成熟的方法，它具有計算簡單，算法結(jié)構(gòu)好，計算量少，具有良好的收斂性等優(yōu)點，而Rosen投影梯度法的提出使尋找下降方向變得簡單． 本文提出基于投影梯度法與無約束最優(yōu)化問題的下降類算

4、法相結(jié)合的幾類新算法．使新算法將無約束最優(yōu)化問題的下降類算法推廣到線性約束最優(yōu)化問題． 在第一章我們簡要的介紹了最優(yōu)化問題的提出以及判斷最優(yōu)解常用的最優(yōu)性條件，回顧了最優(yōu)化問題的幾類主要算法． 在第二章中我們把一種新的共軛梯度法(HS-DY混合共軛梯度法)與Rosen投影梯度相結(jié)合，提出了線性等式約束最優(yōu)化問題的一種新算法，并在Wolfe線搜索下證明了算法的收斂性． 在第三章中我們將無約束問題的一類下降算法與Ro