基于高斯回歸的連續(xù)空間多智能體強(qiáng)化學(xué)習(xí)算法研究.pdf

1、本文以多智能體系統(tǒng)為研究對(duì)象，研究應(yīng)用強(qiáng)化學(xué)習(xí)智能獲取多智能體系統(tǒng)的行為策略，其中關(guān)鍵問題主要包括空間泛化與學(xué)習(xí)降維兩個(gè)方面。最初，強(qiáng)化學(xué)習(xí)理論及其相關(guān)定義是以離散環(huán)境為基礎(chǔ)展開討論的，而實(shí)際應(yīng)用環(huán)境的內(nèi)在連續(xù)性大大地限制了強(qiáng)化學(xué)習(xí)的適應(yīng)范圍，使得空間泛化成為提高強(qiáng)化學(xué)習(xí)的實(shí)用性的一個(gè)重要步驟。同時(shí)，隨著多智能體系統(tǒng)理論研究的進(jìn)展，強(qiáng)化學(xué)習(xí)理論也從簡單的單智能體強(qiáng)化學(xué)習(xí)發(fā)展到復(fù)雜的多智能體強(qiáng)化學(xué)習(xí)。然而，在多智能體系統(tǒng)環(huán)境下，學(xué)習(xí)和存儲(chǔ)

2、空間將隨著智能體個(gè)數(shù)的增加而呈指數(shù)級(jí)增長，“維數(shù)災(zāi)難”問題更加突出，導(dǎo)致學(xué)習(xí)效率低下，甚至破壞學(xué)習(xí)的收斂性。
　　本文針對(duì)多智能體強(qiáng)化學(xué)習(xí)中的空間泛化與學(xué)習(xí)降維兩個(gè)關(guān)鍵問題進(jìn)行研究。一方面，通過建立狀態(tài)值函數(shù)模型、狀態(tài)-動(dòng)作對(duì)值函數(shù)模型、策略函數(shù)模型分別實(shí)現(xiàn)狀態(tài)空間、動(dòng)作空間、策略空間的泛化。另一方面提出一種基于聯(lián)合狀態(tài)-個(gè)體動(dòng)作的降維Q函數(shù)定義，實(shí)現(xiàn)學(xué)習(xí)空間與存儲(chǔ)空間的雙重降維，同時(shí)采用基于模型的學(xué)習(xí)方法提高學(xué)習(xí)效率。
　

3、　首先，根據(jù)強(qiáng)化學(xué)習(xí)基本定義，結(jié)合多智能體系統(tǒng)應(yīng)用環(huán)境，討論多智能體強(qiáng)化學(xué)習(xí)的一般框架及其相對(duì)應(yīng)的典型算法。分析多智能體強(qiáng)化學(xué)習(xí)中泛化與降維這兩個(gè)問題的本質(zhì)，并給出解決問題的總體思路與理論指導(dǎo)。
　　其次，假設(shè)已知環(huán)境聯(lián)合獎(jiǎng)賞函數(shù)、非學(xué)習(xí)智能體執(zhí)行靜態(tài)穩(wěn)定策略，在定義降維跟蹤學(xué)習(xí)值函數(shù)的基礎(chǔ)之上，提出一種基于高斯回歸的連續(xù)空間多智能體跟蹤學(xué)習(xí)算法。通過高斯回歸方法建立值函數(shù)模型實(shí)現(xiàn)空間泛化，采用基于模型的學(xué)習(xí)方法提高學(xué)習(xí)效率，并從

4、時(shí)間復(fù)雜度、空間復(fù)雜度兩個(gè)方面分析算法性能。
　　再次，為進(jìn)一步擴(kuò)展算法的適應(yīng)性，突破上述假設(shè)條件，提出改進(jìn)型多智能體連續(xù)空間基于模型的跟蹤學(xué)習(xí)算法。通過觀察環(huán)境對(duì)系統(tǒng)的聯(lián)合鑒賞與記錄個(gè)體歷史鑒賞，采用一種新型的個(gè)體鑒賞函數(shù)迭代逼近方法，獲取智能體個(gè)體鑒賞函數(shù)。此外，在線建立實(shí)時(shí)的行為策略模型，用于改進(jìn)學(xué)習(xí)樣本空間的更新方法。
　　然后，在MAS MBRL-CPT算法的基礎(chǔ)上，引入基于分時(shí)學(xué)習(xí)的協(xié)調(diào)機(jī)制，使得所有智能體均能通