基于狀態(tài)預(yù)測的協(xié)作式多智能體強(qiáng)化學(xué)習(xí)算法研究.pdf

1、本文以協(xié)作式多智能體系統(tǒng)為研究對象，研究應(yīng)用強(qiáng)化學(xué)習(xí)進(jìn)行多智能體協(xié)作行為學(xué)習(xí)時遇到的“維數(shù)災(zāi)難”問題。起源于單智能體系統(tǒng)的強(qiáng)化學(xué)習(xí)具有良好的自學(xué)習(xí)特性，為了提高多智能體系統(tǒng)協(xié)作行為的智能性和適應(yīng)性，許多學(xué)者將強(qiáng)化學(xué)習(xí)引入到多智能體系統(tǒng)中，然而，強(qiáng)化學(xué)習(xí)本身存在“維數(shù)災(zāi)難”問題，在引入到多智能體系統(tǒng)后，學(xué)習(xí)和存儲空間將隨著智能體個數(shù)的增加而呈指數(shù)級增長，“維數(shù)災(zāi)難”問題變得更加嚴(yán)重，導(dǎo)致學(xué)習(xí)效率下降，甚至不能在有效時間內(nèi)收斂，阻礙了其在多

2、智能體系統(tǒng)的推廣和應(yīng)用。
　　 本文針對多智能體系統(tǒng)中強(qiáng)化學(xué)習(xí)的“維數(shù)災(zāi)難”問題進(jìn)行研究，通過在多智能體強(qiáng)化學(xué)習(xí)算法中引入狀態(tài)預(yù)測機(jī)制，將多智能體的學(xué)習(xí)空間進(jìn)行合理、有效地分解，一方面，降低學(xué)習(xí)空間規(guī)模，緩解“維數(shù)災(zāi)難”;另一方面，保證算法的收斂性，提高智能體決策水平。首先，利用強(qiáng)化學(xué)習(xí)的基本定義，分析強(qiáng)化學(xué)習(xí)在應(yīng)用于多智能體系統(tǒng)中產(chǎn)生“維數(shù)災(zāi)難”的根本原因，提出基于狀態(tài)預(yù)測的多智能體強(qiáng)化學(xué)習(xí)算法總體思路，為解決“維數(shù)災(zāi)難”問題

3、提供理論支撐和方法指導(dǎo)。其次，從狀態(tài)預(yù)測角度出發(fā)，提出一種基于聯(lián)合狀態(tài)值函數(shù)逼近的多智能體強(qiáng)化學(xué)習(xí)算法。通過將學(xué)習(xí)過程分解為降維空間的強(qiáng)化學(xué)習(xí)和聯(lián)合狀態(tài)空間的值函數(shù)學(xué)習(xí)兩個并行過程，緩解“維數(shù)災(zāi)難”問題，同時在一定假設(shè)基礎(chǔ)上給出算法的收斂性證明。然后，為突破上述假設(shè)，進(jìn)一步拓展算法的適用范圍，采用一種新穎的思路，將其它智能體視為環(huán)境的一部分，形成一個動態(tài)的廣義環(huán)境。利用強(qiáng)化學(xué)習(xí)的最優(yōu)策略學(xué)習(xí)能力和狀態(tài)預(yù)測機(jī)制對降維學(xué)習(xí)過程中環(huán)境信息缺失