結(jié)合圍捕問題的合作多智能體強化學(xué)習(xí)研究.pdf

1、機器學(xué)習(xí)一直是AI領(lǐng)域的研究熱點。作為應(yīng)用廣泛的一種機器學(xué)習(xí)方法，強化學(xué)習(xí)在單agent情況下的研究已趨于成熟，而在多agent系統(tǒng)中的研究仍處于上升階段，因為多agent系統(tǒng)本身的復(fù)雜性和動態(tài)不確定性增加了對學(xué)習(xí)算法研究的困難。應(yīng)用數(shù)學(xué)領(lǐng)域中研究多人交互的對策論理論，為多agent系統(tǒng)中的學(xué)習(xí)算法的研究提供了一個很好的理論支撐。對策論與馬爾可夫決策過程相結(jié)合便構(gòu)建了一個用于研究交互式多agent學(xué)習(xí)的理論框架——隨機對策。 在

2、此框架下的學(xué)習(xí)研究已經(jīng)取得了一些成果，如對抗、非合作和完全合作系統(tǒng)中的學(xué)習(xí)以及重復(fù)對策中的學(xué)習(xí)等。本文針對隨機對策框架下完全合作和理性合作的多agent學(xué)習(xí)進行了研究。 完全合作的多agent系統(tǒng)中，在單agent學(xué)習(xí)算法的基礎(chǔ)上研究偏差技術(shù)，并利用多agent系統(tǒng)的信息共享優(yōu)勢，提出了基于先驗知識的共享策略學(xué)習(xí)算法。此外，用于實現(xiàn)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)性能也會直接影響學(xué)習(xí)結(jié)果。針對反向傳播神經(jīng)網(wǎng)絡(luò)收斂速度慢和易陷入局部最優(yōu)等缺陷，提出

3、利用合作粒子群優(yōu)化方法對網(wǎng)絡(luò)權(quán)值進行訓(xùn)練。它可以實現(xiàn)快速全局優(yōu)化，改善網(wǎng)絡(luò)學(xué)習(xí)性能從而有益于強化學(xué)習(xí)的效果。以上兩方面都對加快學(xué)習(xí)速度發(fā)揮了很好的作用。 理性合作情況下的多agent學(xué)習(xí)研究較少，關(guān)鍵問題在于兩方面。一方面是目標函數(shù)的選擇和計算，另一方面是學(xué)習(xí)過程中的決策協(xié)調(diào)，二者都在很大程度上影響著學(xué)習(xí)的效果。在理性合作情況下，提出利用Pareto占優(yōu)解作為目標函數(shù)進行學(xué)習(xí)，它可以在提高個體理性的同時增加整體理性。為了減小學(xué)習(xí)

4、過程中用于協(xié)調(diào)的時間費用和通信費用，而且不影響學(xué)習(xí)的速度，提出利用社會規(guī)則的方法完成學(xué)習(xí)過程中的隱式協(xié)調(diào)。制定的一系列互利性社會規(guī)則實現(xiàn)了多agent系統(tǒng)決策的統(tǒng)一和較高的整體性能。 采用追捕-逃跑任務(wù)作為完全合作多agent學(xué)習(xí)的應(yīng)用研究背景。構(gòu)建一個連續(xù)空間的追捕-逃跑系統(tǒng)，實現(xiàn)搜索、圍捕、押送等任務(wù)，并在圍捕任務(wù)中提出了一種編隊方法，它可以在競標合作的方式下降低路徑總消耗。將先驗知識的強化學(xué)習(xí)用于圍捕機器人行為融合機制中，