北京交通大學最優(yōu)控制理論與算法研究生課程第三章-變分法在最優(yōu)控制中的應用

1、變分法在最優(yōu)控制中的應用(1/2),第三章　變分法在最優(yōu)控制中的應用動態(tài)系統(tǒng)的最優(yōu)控制問題是一類有狀態(tài)方程(微分方程)約束、目標集的等式或不等式約束、以及容許控制的開集或閉集性約束的泛函極值問題。本章將基于泛函極值問題的歐拉方程和橫截條件,討論最優(yōu)控制中的泛函極值問題求解。 本章研究的內(nèi)容為具有等式約束條件下的變分問題 末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題末態(tài)時刻和末態(tài)固定的問題末態(tài)時刻固定、末態(tài)受約束的問題末態(tài)時刻

2、未定的問題,,,具有等式約束條件下的變分問題 (1/10),3.1 具有等式約束條件下的變分問題 具有等式約束條件下,多個宗量函數(shù)的泛函極值問題可表示如下。等式約束變分問題 尋找一條連續(xù)可微的極值曲線,使性能泛函　達到極值, 極值曲線 x(t) 滿足微分方程形式的等式約束 式中, 為m維 (m?n) 關于t, x 和的非線性向量函數(shù)。,,,具有等式約束條件下的變分問題 (2

3、/10),這里,極值曲線x(t)除滿足邊界條件和古典變分學中規(guī)定的連續(xù)可微條件外, 還須滿足該等式約束條件。由于動態(tài)系統(tǒng)的狀態(tài)方程可歸為等式約束, 因此該等式約束變分問題是研究最優(yōu)控制的基礎。下面就給出并證明處理等式約束變分問題的等式約束變分定理。,,,具有等式約束條件下的變分問題 (3/10)—定理 4,定理 4(等式約束變分定理) 如果n維向量函數(shù)x(t)能使等式約束變分問題取極值,那么,必存在待定的m維拉格朗日乘子向量函數(shù) ?

4、(t), 使泛函達到無條件極值,即極值曲線x(t)是上述泛函所滿足的歐拉方程和等式約束條件 (47) 的解, 其中,,,具有等式約束條件下的變分問題 (4/10),引進拉格朗日乘子可以將泛函的條件極值問題化為一個無條件的極值問題。引入該定理的作用,僅僅是表明泛函J在等式約束條件下的極值曲線x(t),同時使得泛函J和J1達到無條件極值。在后面還要詳細講解具有約束條件下求解極值問題的泛函變分問題。,,,具有等式約束條件下的變

5、分問題 (5/10)—例 7,上述歐拉方程和約束條件共有n+m個方程,恰好可以解出n+m個未知函數(shù) x(t) 和 ?(t)。通過邊界條件確定 x(t) 和 ?(t) 中的積分常數(shù)。隨著終端條件的不同, 邊界條件也不同。在 2.4節(jié)和 2.5節(jié)所討論橫截條件就能解決這個問題。例 6 火箭在自由空間里的運動作用可用下列微分方程描述式中, u(t)為推力;?(t)為角位移。,,,具有等式約束條件下的變分問題 (6/10),令

6、x1(t)=?(t), x2(t)=(t),可建立狀態(tài)方程如下試求控制函數(shù) u(t),使系統(tǒng)從初始狀態(tài)經(jīng)過 t = 2s 轉移到狀態(tài)空間原點, 即且使如下性能指標取極小。,,,具有等式約束條件下的變分問題 (7/10),解 該問題屬于終端固定的極值問題。選擇向量拉格朗日乘子函數(shù)?(t)=[?1(t), ?2(t)]?,由定理4,利用拉格朗日乘子法可得如下輔助泛函指標式中，式中狀態(tài)變量x(t)、控制函數(shù)u(t

7、)和向量拉格朗日乘子函數(shù)?(t)都為該泛函的宗量。在一般形式中沒有宗量u(t), 實際上,我們可以把u(t)和x(t)一樣來處理,比如,在本例中可以定義u(t)=x3(t)。,,,具有等式約束條件下的變分問題 (8/10),那么,這些泛函的宗量必須滿足如下歐拉方程,,,具有等式約束條件下的變分問題 (9/10),聯(lián)立求解上述歐拉方程,可得,,,,,具有等式約束條件下的變分問題 (10/10),利用邊界條件可解得因此, 最優(yōu)控制函

8、數(shù)和狀態(tài)的最優(yōu)軌線,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(1/12),3.2 末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題這一節(jié)著重討論末態(tài)不受約束的最優(yōu)控制問題。所謂末態(tài)不受約束, 是指末態(tài)x(tf)可在Rn空間中取任何值,即目標集為整個狀態(tài)空間。因此,該問題可描述如下。末態(tài)無約束最優(yōu)控制問題 求一容許控制u(t)?U,t?[t0,tf],在末態(tài)時刻tf固定,狀態(tài)x(tf)無約束,初始狀態(tài)x(t0)=x0以及被控系統(tǒng)等

9、約束條件下,使如下復合型性能泛函指標達到最小值。,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(2/12),對該最優(yōu)控制問題,若將動態(tài)系統(tǒng)的狀態(tài)方程改寫成等式約束條件則可根據(jù)等式約束變分定理(定理4)求解該泛函極值問題，兩問題只是邊界條件不同而已。引入拉格朗日乘子向量函數(shù)?(t),將等式約束條件和原有的性能指標泛函結合成一個新的泛函泛函J1的極值問題與原泛函J的極值問題等價。,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(3/1

10、2),為方便起見,定義一標量函數(shù)如下 該標量函數(shù)H稱為哈密頓(Hamilton)函數(shù)。因此,泛函J1可記為。,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(4/12),求泛函J1的極值問題, 可以直接用歐拉方程(49)來求得極值條件, 并且通過邊界條件確定由極值條件得到方程解的積分常數(shù), 如例 6中, 邊界條件為系統(tǒng)起點和終點狀態(tài)。后面將會給出不同情況下的邊界條件。當然在確定泛函J1的極值條件時, 不是一定要利用歐拉方程 (49

11、) 來求解, 可以根據(jù)實際情況進行必要的簡化。 就泛函J1而言, 其宗量有 以及u(t)和?(t) ； 前面已經(jīng)指出, 不必對宗量?(t)變分, 因為對?(t)的變分結果就是約束條件(系統(tǒng)狀態(tài)方程)。,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(5/12),考慮到初始狀態(tài) (t0, x(t0)), 末態(tài)時刻tf固定以及x(tf)自由,泛函J1對其所有的可變宗量的一階變分為

12、當選擇?(t)滿足時，可惟一確定拉格朗日乘子函數(shù)?(t)。于是, 泛函J1的一階變分可變?yōu)?,,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(6/12),根據(jù)泛函極值的必要條件 ?J1=0, 考慮到變分?u(t)的任意性, 由變分學的基本預備定理可得聯(lián)立上述方程以及動態(tài)系統(tǒng)的狀態(tài)方程和初始狀態(tài)條件x(t0)=x0,可解得最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和適當?shù)睦窭嗜粘俗雍瘮?shù)?(t)。上述結果可歸

13、納成如下定理。,,,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(7/12)—定理 5,定理 5(末態(tài)無約束最優(yōu)控制定理) 末態(tài)無約束最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t), 最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)?(t)須滿足如下條件:1) 規(guī)范方程2) 邊界條件3) 極值條件,,,,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(8/12),在末態(tài)無約束最優(yōu)控制定理的結論中,由上述微分方程以及邊界條件可惟一確

14、定出最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)?(t)。上述關于x(t)和?(t)的微分方程通常被稱為規(guī)范方程,其中?(t)的微分方程又稱為協(xié)態(tài)方程(或共軛方程,伴隨方程),相應地,拉格朗日乘子函數(shù)?(t)又稱為協(xié)態(tài)變量或共軛變量。極值條件?H/?u=0是一代數(shù)方程, 由它聯(lián)立規(guī)范方程的解可求得具體的最優(yōu)控制函數(shù)u*(t)和最優(yōu)狀態(tài)軌線x*(t)。,,,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(9/12),下面討論哈密

15、頓函數(shù)的一個重要性質(zhì)。哈密頓函數(shù)對時間t的全導數(shù)為 考慮到規(guī)范方程,則有再考慮到極值條件?H/?u=0,于是哈密頓函數(shù)對時間t的全導數(shù)可表示為,,,,,,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(10/12)—例 7,上式表明,沿最優(yōu)軌線哈密頓函數(shù)H對時間的全導數(shù)等于對時間的偏導數(shù)。因此,當哈密頓函數(shù)H不顯含時間變量t時,則有H(t)=常數(shù) t?[t0,tf]例 7 已知被控系統(tǒng)為求最優(yōu)控制u*(t)使如

16、下性能指標泛函取極小。,,,,,,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(11/12),解 這是一個具有tf 固定, x(tf)自由的終端約束的極值問題。構造哈密頓函數(shù)如下,由極值條件?H/?u=0可解得u=-?。將其代入規(guī)范方程,可得并滿足如下邊界條件x(t0)=x0 ?(tf)=Cx(tf)從而解得,,,,,,,,,末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(12/12),式中，tf為某一確定的常數(shù)。將

17、u*(t)代入哈密頓函數(shù)H得其中?(t)為常數(shù)。,,,,,,,,,,末態(tài)時刻和末態(tài)固定的問題 (1/5),3.3 末態(tài)時刻和末態(tài)固定的問題 對末態(tài)的要求不同將導致最優(yōu)控制問題的結論不同。上面討論了無末態(tài)約束的問題, 這一小節(jié)將研究末態(tài)時刻tf和末態(tài)x(tf)固定的最優(yōu)控制問題。由于末態(tài)時刻tf和末態(tài)x(tf)已固定,即x(tf)=xf,因此,性能指標泛函中的末值項S(x(tf),tf)就沒有存在的必要。在這種情況下,最優(yōu)

18、控制問題的性能指標泛函為如下積分型泛函,,,,末態(tài)時刻和末態(tài)固定的問題 (2/5),因此,該最優(yōu)控制問題描述如下。末態(tài)固定最優(yōu)控制問題對于被控系統(tǒng)(51),始端狀態(tài)(t0,x(t0))和末態(tài)(tf, x(tf))固定時的性能指標泛函(68)極小的最優(yōu)控制問題。與前面的推導過程類似,考慮到末值項S(x(tf),tf)=0,輔助泛函J1可定義為,,,就泛函J1而言,其宗量有 以及u(t)和?(t)

19、 。前面已經(jīng)指出,不必對宗量?(t)變分,因為對?(t)的變分結果就是系統(tǒng)狀態(tài)方程。,末態(tài)時刻和末態(tài)固定的問題 (3/5),因此,考慮到始端和末端固定,即?x(tf)=?x(t0)=0,泛函J1對其所有宗量的一階變分為根據(jù)泛函極值的必要條件?J1=0, 同樣可以導出,,,末態(tài)時刻和末態(tài)固定的問題 (4/5),當x(tf)固定,即?x(tf)=0時, 雖然變分?u(t)不再是任意的。但x(tf)固定是相對的,其值的確定具有

20、任意性,因此,末態(tài)x(tf)固定時的最優(yōu)控制問題的極值條件仍然為同上一節(jié)末態(tài)時刻tf固定,末態(tài)x(tf)無約束的變分問題相比,邊界條件在這里被取而代之的是x(tf)=xf。綜合上述結論,有如下關于末態(tài)固定最優(yōu)控制問題的定理。,,,末態(tài)時刻和末態(tài)固定的問題 (5/5)—定理 6,定理 6(末態(tài)固定最優(yōu)控制問題) 末態(tài)固定最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)?(t)在邊界條件x(

21、t0)=x0 x(tf)=xf 下須滿足規(guī)范方程以及極值條件,,,,,末態(tài)時刻固定、末態(tài)受約束的問題(1/10),3.4 末態(tài)時刻固定、末態(tài)受約束的問題本小節(jié)討論末態(tài)時刻tf固定,末態(tài)x(tf)受等式約束的最優(yōu)控制問題。該問題可描述為如下：末態(tài)約束最優(yōu)控制問題 對于被控系統(tǒng) ,末態(tài)時刻tf固定,末態(tài)x(tf)受

22、等式g(x(tf),tf)=0 約束,如下復合型性能指標泛函取極小的最優(yōu)控制問題。,,,,,,末態(tài)時刻固定、末態(tài)受約束的問題(2/10),所謂末態(tài)約束, 即末態(tài)只允許在末端流形(73)上變化。上述約束條件中向量函數(shù)g(x(tf),tf)的維數(shù)為p,為使該最優(yōu)控制問題的解存在,當性能指標泛函中L=0時,p?n-1;當L≠0時,p?n。上述最優(yōu)控制問題與3.2所討論的末

23、態(tài)x(tf)無約束的問題相比,只是增加了末態(tài)約束條件(73)。對該約束條件,可引入待定拉格朗日乘子向量?=[?1 ,?2,…,?p]?, 定義如下新的輔助泛函式中，哈密頓函數(shù)H的定義與前面一致。,,,g(x(tf),tf)=0 (73),,末態(tài)時刻固定、末態(tài)受約束的問題(3/10),若令則泛函J1可表示為與3.2所討論的末態(tài) x(tf) 無約束的問題一樣,可得規(guī)范方程、極值條件和邊界條件。其中邊界條件為,,,,,

24、,,末態(tài)時刻固定、末態(tài)受約束的問題(4/10)—定理 7,泛函J1對其宗量的變分結果是x(tf)所滿足的等式約束條件g(x(tf),tf)=0,所以,在求泛函J1的變分?J1時,和不需要對變分一樣,也不需要對?(t)的變分。綜上所述, 末態(tài)時刻tf固定、末態(tài)x(tf)受約束的最優(yōu)控制問題的結論可以歸納為以下定理。定理 7（末態(tài)約束最優(yōu)控制定理）末態(tài)約束最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線 x*(t) 和適當選擇的拉格

25、朗日乘子函數(shù) ?(t) 在邊界條件下滿足規(guī)范方程 (61)~(62)以及極值條件(64)。,,,,,,末態(tài)時刻固定、末態(tài)受約束的問題(5/10),從定理 7 可知,末端受約束不改變該問題求解中的規(guī)范方程,只影響邊界條件。與2節(jié)相比,增加了邊界條件中的末態(tài)條件,而且引入了拉格朗日乘子向量?, 其變量數(shù)和末態(tài)受約束條件個數(shù)相等。當復合型性能指標泛函中末值型指標S(x(tf),tf)=0時,邊界條件可記為,,,,,,末態(tài)時刻固定

26、、末態(tài)受約束的問題(6/10),由于?g?(x(tf),tf)/?x(tf)為最優(yōu)軌線的末端約束流形上的方向場,即方向梯度,因此式(80)表明,在最優(yōu)軌線的末端,?(tf)與末端目標集正交, 即與g(x(tf),tf)=0規(guī)定的n-p維末端約束流形正交。所以,邊界條件(80)常稱為橫截條件。而邊界條件(79)表示?(tf)既不與末端目標集正交,亦不與之相切,因此,它常被稱為斜截條件。最后值得指出的是,由于末態(tài)固定x(tf)=xf可

27、以視為末端約束條件g(x(tf),tf)=0的一種特例,因此,本小節(jié)方法同樣適用于上一小節(jié)的末態(tài)固定的情況。,,,,,,末態(tài)時刻固定、末態(tài)受約束的問題(7/10)—例 8,例 8 對被控系統(tǒng)試求控制函數(shù)u(t),使系統(tǒng)從初始狀態(tài)x1(0)=0 x2(0)=0經(jīng)過1s轉移到目標集x1(1)+x2(1)=1且使如下性能指標取極小。,,,,,,末態(tài)時刻固定、末態(tài)受約束的問題(8/10),解 本例中末態(tài)約束條件為g(x(tf)

28、,tf)=x1(1)+x2(1)-1=0因此,相應的哈密頓函數(shù)和輔助性能指標泛函中的末值項分別為根據(jù)定理 7, 可得該最優(yōu)控制的如下方程和邊界條件,,,,,,,,末態(tài)時刻固定、末態(tài)受約束的問題(9/10),,,,,,,,,末態(tài)時刻固定、末態(tài)受約束的問題(10/10),由上述方程可求得如下解析解,,,,,,,,末態(tài)時刻未定的問題 (1/8),3.5 末態(tài)時刻未定的問題 末態(tài)時刻tf未定時,末態(tài)x(tf)又可分為自由、固定和受

29、約束3種情況。這里僅討論末態(tài)x(tf)受約束的情況,末態(tài)x(tf)固定和自由兩種情況可以視為這一類情況的特例。此外,這種情況下的優(yōu)化問題可視為前面末態(tài)時刻tf固定情況的一般化,通過本節(jié)的結論可以得到前幾節(jié)的結論。,,,,末態(tài)時刻未定的問題 (2/8),末態(tài)時刻未定最優(yōu)控制問題 對于被控系統(tǒng) , 末態(tài)時刻tf未定,末態(tài)x(tf)受等式g(x(tf),tf)=0約束,如下性能指標泛函取

30、極小的最優(yōu)控制問題。與前面一樣,引入狀態(tài)約束的拉格朗日乘子函數(shù)?(t)和末態(tài)x(tf)約束的拉格朗日乘子向量?,將系統(tǒng)狀態(tài)方程和性能指標泛函結合成如下新的輔助泛函式中，哈密頓函數(shù)H的定義與前面一致。,,,,,,末態(tài)時刻未定的問題 (3/8),將泛函J1中最后一個積分項進行分部積分,可得定義則泛函J1可表示為,,,末態(tài)時刻未定的問題 (4/8),就泛函J1而言,其宗量有類似前面討論,對?(t)的變分結果是狀態(tài)方

31、程。因將tf視為一宗量,也要對它進行變分?？紤]到初始狀態(tài) (t0,x(t0))固定,泛函J1對其所有的可變宗量的一階變分為,,,末態(tài)時刻未定的問題 (5/8)—定理 8,根據(jù)泛函極值的必要條件?J1=0,可以得到如下定理。定理 8(末態(tài)時刻未定最優(yōu)控制定理) 末態(tài)時刻未定最優(yōu)控制問題的最優(yōu)末態(tài)時刻、最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)?(t)在邊界條件下滿足規(guī)范方程(61)~(62)

32、與極值條件(64),并且哈密頓函數(shù)H在最優(yōu)軌線的末端應有,,,,末態(tài)時刻未定的問題 (6/8),類似于定理 8的結論,當末態(tài)時刻tf未定而x(tf)自由時, 在定理 8的結論中, 規(guī)范方程和極值條件不變,邊界條件為哈密頓函數(shù)H在最優(yōu)軌線的末端應有當末態(tài)時刻tf未定而x(tf)固定時,對應于當末態(tài)時刻tf未定而x(tf)自由情況而言,除邊界條件變?yōu)橐酝? 其余的不變.,,,,末態(tài)時刻未定的問題 (7/8)—例 9,例 9