強化學習方法在多機器人博弈系統(tǒng)中的應(yīng)用研究.pdf

1、多智能體系統(tǒng)由于具有群體性、協(xié)作性以及智能性，常常應(yīng)用于開放、復(fù)雜和動態(tài)變化的環(huán)境中，可以解決單個智能體無法處理的復(fù)雜問題。強化學習是一種重要的機器學習方法，通過智能體與環(huán)境的不斷交互進行知識學習，目前已經(jīng)成為多智能體系統(tǒng)與機器學習領(lǐng)域研究的熱點。同時，傳統(tǒng)的單智能體強化學習原理并不適用于多智能體系統(tǒng)，因為多智能體系統(tǒng)的強化學習面臨著更為復(fù)雜的環(huán)境變化、交互以及協(xié)作等問題。
　　 在多機器人博弈系統(tǒng)中，強化學習面臨的主要問題主要

2、有：(1)由于智能體數(shù)量增加以及環(huán)境狀態(tài)動態(tài)變化，致使學習過程中的“狀態(tài)-動作”空間組合爆炸產(chǎn)生維數(shù)災(zāi)變；(2)多智能體系統(tǒng)中的智能體共同協(xié)作完成任務(wù)并得到強化信號之后，如何合理的分配該強化信號。
　　 本文研究了強化學習方法在多機器人博弈系統(tǒng)中的應(yīng)用，并針對以上兩個問題提出了初步的改進方法。首先，研究了基于狀態(tài)聚類的多智能體強化學習方法，利用K-Means算法對環(huán)境狀態(tài)聚類，通過“環(huán)境狀態(tài)類-策略”的映射有效避免多智能體強化學

3、習過程中的學習空間組合爆炸產(chǎn)生的維數(shù)災(zāi)變。仿真實驗結(jié)果顯示該方法可以有效減少狀態(tài)空間并提高學習效率。其次，提出了基于聚類的角色分配方法，通過K-Means算法對提取的角色屬性聚類，為智能體自動分配角色并建立特征動作集。再次，研究了多智能體強化學習中的信度分配問題，根據(jù)智能體角色屬性及執(zhí)行動作等權(quán)重因素確定信度分配函數(shù)，進一步提高了強化信號分配的合理性。在機器人足球比賽SimuroSot5vs5平臺上的實驗中，與采用回報平均分配策略的球隊