帶平均場的線性二次正倒向隨機對策問題.pdf

1、在現(xiàn)存的文獻中，隨機動態(tài)對策和合作問題的研究可以追溯到20世紀六十年代(請參閱[1，2，3，4])。在最優(yōu)控制背景下弱互聯(lián)系統(tǒng)在[5]中進行了研究，并且在兩人非合作非線性動態(tài)對策設定下Nash均衡在[6]中進行了分析。近年來，受控的隨機大人口（也稱作多主體）系統(tǒng)由于其廣泛的出現(xiàn)在政治、經(jīng)濟、工程等領域而變得非常重要。后來，這類系統(tǒng)的動態(tài)優(yōu)化或者控制吸引了研究群體一致的強烈的關注。受控的大人口系統(tǒng)最大的特點在于考慮可忽略主體的存在性，他們

2、單個來看是可以被忽略的，但是他們的集體行為將會給所有主體施加某種顯著的影響。這種特點能被個人動態(tài)系統(tǒng)和（或）代價泛函中的整個人群的狀態(tài)均值所表示的弱耦合結構表現(xiàn)出來。
　　本論文主要專注于大人口系統(tǒng)在線性二次情形下的研究，其中狀態(tài)方程對狀態(tài)是線性的并帶有非齊次項，代價泛函是二次的?；仡櫰饋?，線性系統(tǒng)和其相關的線性二次控制已經(jīng)有了廣泛的研究，這樣的控制問題稱為線性二次最優(yōu)控制問題。關于一些經(jīng)典的確定性線性二次問題的結果，讀者可以參閱

3、[11]。由于線性二次非常好的結構，所以存在著豐富的線性二次描述的大人口問題的相關文獻。大人口系統(tǒng)中的線性二次對策問題和ε-Nash均衡性質在[18]中有了研究和證明，其中每個主體的動態(tài)系統(tǒng)是不一致的。在[19]中，作者求解Hamilton-Jacobi-Bellman和Kolmogorov-Fokker-Plank方程，并且發(fā)現(xiàn)了線性反饋形式顯式的Nash均衡點。[20]旨在研究一類含有N個決策者的線性二次控制問題，其中基本目標是最小

4、化一個社會成本作為N個獨立的帶有平均場結構的泛函之和。
　　作為博弈論一個新的分支，平均場博弈起因子多個領域，例如，粒子物理學、經(jīng)濟學、生物學等。在粒子物理學的很多情形下，通過引入一個或多個“平均場”來充當描繪粒子間相互作用的媒介，這樣構建的逼近方式是非常優(yōu)越的。在這類模型中，通過假設每個粒子都是無窮小的來描繪每個粒子對于構建平均場的貢獻和平均場對于每個粒子的影響，也就是，通過令粒子的數(shù)目N→+∞，采用一類極限過程。在博弈論中，站

5、在數(shù)學的立場上是涉及了當N趨于無窮的時候，研究一大類N人對策問題。通常的，N人微分對策證明是不易處理的。幸運的是，事情可以被簡化，至少當參與者數(shù)量增加，就參與者而言，這種對策問題是對稱的。實際上，個人與個人之間的復雜策略將無法被參與者實施，因為當參與者人數(shù)增多的時候，每個人會漸漸的在別人的視野中消失。
　　在過去數(shù)十年中，研究平均場博弈及其應用的相關文獻越來越多。對此類對策問題，密切相關卻獨立發(fā)展的研究，請參閱[25，26，27]

6、?；谶@些結果，這條研究路線又吸引了很多注意。一些近期的文獻包括[28，29，30，31]，其中涉及了很多平均場博弈論的研究。關于平均場博弈的一些介紹和例子由[28]給出。[29]主要給出了一類帶平均場相互作用的隨機微分對策問題的完整的概率分析。[30]主要討論和比較了兩類當參與者人數(shù)趨于無窮時隨機微分對策的近似方法。另外，[31]處理了一個銀行間的借入和借出模型，并分析了系統(tǒng)風險。
　　平均場型控制近年來也有了廣泛的研究。[32

7、]得到了平均場倒向隨機微分方程以及相關的平均場隨機微分方程作為一個高維正倒向隨機微分方程系統(tǒng)的極限。后來，在[33]中作者深入調查了帶有一般系數(shù)的此類平均場倒向隨機微分方程并提出了相關的偏微分方程?；谶@些研究，[34]和[35]獨立的研究了平均場型最優(yōu)控制問題，其中控制域是凸的，這也可被[36]中的結果所涵蓋。
　　值得注意的是在上面提到的文獻中，所有的參與者之間相比是微不足道的，也就是說他們不會以單個的方式影響整個群體。相對的

8、，他們將會以群體狀態(tài)平均值的統(tǒng)一模式施加影響。在此情形下，所有參與者可以視為同事。一個實際的例子是生產同類產品的市場價格信息。每個公司產量如此之小使得單個公司的產量不能影響兄弟公司的行為。然而，所有公司的平均產量將會決定此產品的市場價格。所有的小公司都采取這個價格模式，所以他們進一步的相互作用并且通過價格信息機制耦合在一起。上面的討論是基于假設所有的人平等的參與到市場價格信息中來。然而，在現(xiàn)實中我們知道參與者地位和角色的不同在現(xiàn)實狀況中

9、的詮釋有顯著不同。例如，小的單個個人的決策總是受某些“領導”群體或者“主導”機構的影響。在我們的價格信息例子中，這樣的“領導”群體可以被理解為一些壟斷公司，他們有著相當大的產量因此會對價格施加更多顯著的影響。至于那些“主導”機構，可以被視為當?shù)卣驗樗漠a業(yè)政策將會很大程度的影響所有公司的生產行為。相反的，小的公司也會通過市場價格影響政府的決策。一個重要的影響當?shù)卣疇顟B(tài)的因素—生產的稅收，將會依賴于形成的市場價格。
　　上面

10、的討論暗示了所謂的主-從參與者模型。更確切的，讓我們通過下面的石油開采例子指出來。在原油開采過程中，單個石油開采公司總是希望開采更多的石油，從而獲得更多的利潤。這此狀態(tài)下，他們的開采計劃總是傾向于盡量少的考慮宏觀因素，比如石油資源有限、可能出現(xiàn)的環(huán)境代價和開采過程中的長期受益。另一方面，這些因素更多的是相關的監(jiān)督部門或當?shù)卣紤]的。不像單個的石油公司，他們更關心行業(yè)的可持續(xù)發(fā)展和石油部門的綜合效益。因此，他們將作為主要參與者實施一些

11、宏觀調控政策。所有小公司（作為從屬參與者）當制定生產計劃時應該遵循這些政策。所以，所有的單個小生產公司組成了從屬參與者部分，并且依賴他們的集體行為（狀態(tài)平均值）來進一步影響當?shù)卣ㄖ饕獏⑴c者）。進而主從大人口系統(tǒng)和相關的平均場對策被廣泛的研究?；仡欀暗墓ぷ?，[51]通過分析一個無窮集合，并且所有從屬參與者可分為K類討論了主從參與者大人口系統(tǒng)問題。后來，[52]考慮了主從關系模型的線性二次問題，這里直接把平均場項z作為一個隨機過程且系

12、數(shù)是隨機的。
　　在大多數(shù)控制問題中，我們都假設信息是可以被完全觀測到的。然后，在現(xiàn)實中卻未必總是合理的。由于參與者在社會中角色、地位、方法等的不同，所觀測的內容也不盡相同。進而由于有限的數(shù)據(jù)，隱藏的過程或是噪聲觀測等，很多控制問題更適合用部分信息框架來描述。部分信息下的隨機控制問題在[55]中有了大量的回顧。也有其他的關于部分可觀測的隨機控制系統(tǒng)的文獻，先前的工作請參閱[56，57，58，59，60，61，62，63]，近期的工

13、作請看[64，65，66，67，68，69，70，71，72，73]。對于部分可觀測隨機微分對策，可參閱[74，75，76]和其中的文獻。值得注意的是，一類帶噪聲觀測的線性二次平均場對策問題也在[77]中進行了研究，問題定義在無窮時間區(qū)間，故而代數(shù)Riccati方程由此引入。另外，在[77]中，由于沒有公共噪聲，所以極限的狀態(tài)均值是確定性的函數(shù)，這跟本論文中相關問題的處理是不一樣的。
　　非常重要的一點是在上述所有的大人口系統(tǒng)問題

14、相關工作中，所有參與者的狀態(tài)都描述為初始條件給定的（正向）隨機微分方程。進一步的，在此問題中，參與者們的目標是最小化他們的目標泛函，當然其中涉及了終端狀態(tài)。隨著倒向隨機微分方程廣泛的研究和應用，我們很自然的考慮大人口問題在此框架下的動態(tài)優(yōu)化問題。
　　與以上正倒向隨機微分方程驅動的對策問題不同的是，一些受其他機制影響的隨機最優(yōu)控制問題，也在實踐中有著非常廣泛的應用，比如脈沖控制、時間延遲、體制切換系統(tǒng)等。而考察這樣最優(yōu)控制的隨機最

15、大值原理，在理論研究和實際應用中有著極為重要的作用。最大值原理—最優(yōu)控制的必要條件，首先由Pontryagin等人的團隊[107]在二十世紀五六十年代提出和研究的。Bismut[79]引入了線性倒向隨機微分方程作為伴隨方程，這在隨機控制理論的發(fā)展中起到了里程碑的作用。隨著Pardoux-Peng[80]非線性倒向隨機微分方程理論的建立，一般的隨機最大值原理由彭實戈教授在[108]中通過引入二階伴隨方程得到。隨后，彭教授[109]首先研究

16、了控制域為凸集時正倒向控制系統(tǒng)的隨機最大值原理。由于倒向隨機微分方程和正倒向隨機微分方程在數(shù)理金融、經(jīng)濟學等廣泛的應用，我們很自然的考慮正倒向隨機微分方程的最優(yōu)控制問題。在這方面，有豐富的結果可供查閱，比如[94，110，111，68，112]及其中的文獻。不久前，吳臻教授[106]建立了一般的正倒向隨機系統(tǒng)的最大值原理，其中控制域是非凸的，且擴散項系數(shù)顯式的含有控制變量。這對一般的正倒向隨機系統(tǒng)最大值原理的發(fā)展做了極大的推動。

17、　　受以上研究的啟發(fā)，論文主要考慮兩類帶脈沖控制的正倒向隨機最優(yōu)控制問題的最大值原理，一類是帶脈沖的正倒向體制切換系統(tǒng)，另一類是帶脈沖的正倒向延遲系統(tǒng)。在第一類中，系統(tǒng)由正倒向隨機微分方程驅動，且所有系數(shù)都含有馬爾科夫鏈。此情況相對于[123]和[103，119]顯得更為復雜。在第二類中，系統(tǒng)由正倒向隨機微分延遲方程描述，控制變量包括正則控制和脈沖控制，且都有時間延遲。我們知道隨機微分方程和倒向隨機微分方程之間有很好的對偶關系。Peng

18、 and Yang[129]引入一類新的倒向隨機微分方程稱為超前倒向隨機微分方程，且在隨機微分延遲方程和超前倒向隨機微分方程之間建立了對偶關系。利用超前倒向方程的理論和對偶方法，Chen and Wu[130]首先得到了狀態(tài)和控制都含延遲的控制系統(tǒng)最大值原理。后來，Yu[131]研究了含脈沖控制的延遲控制系統(tǒng)最大值原理，其中動態(tài)系統(tǒng)由隨機延遲系統(tǒng)驅動，且正則控制是凸的。更多的關于延遲系統(tǒng)的文獻，請參閱[132，133，134]和其中的參