RoboCup中基于強(qiáng)化學(xué)習(xí)的多智能體協(xié)作研究.pdf

1、多智能體系統(tǒng)是分布式人工智能的一個(gè)典型問(wèn)題，是由多個(gè)可計(jì)算的智能體組成的集合，它能協(xié)調(diào)一組自主體的行為(知識(shí)、目標(biāo)、方法和規(guī)劃等)，以協(xié)同地動(dòng)作和求解問(wèn)題。RoboCup，即機(jī)器人世界杯足球賽，融合了自主機(jī)器人的設(shè)計(jì)、多智能體的合作與協(xié)調(diào)、決策調(diào)度、實(shí)時(shí)推理、機(jī)器人學(xué)和傳感器融合等多個(gè)領(lǐng)域的技術(shù)，已經(jīng)成為研究多智能體系統(tǒng)的一個(gè)標(biāo)準(zhǔn)實(shí)驗(yàn)平臺(tái)。由于機(jī)器人足球仿真比賽具有動(dòng)態(tài)實(shí)時(shí)性、對(duì)抗性、信息不完整等特點(diǎn)，自主智能體的學(xué)習(xí)和多智能體的協(xié)作已

2、經(jīng)成為該領(lǐng)域研究的主要方向。 本文以RoboCup仿真比賽為背景，進(jìn)行了基于強(qiáng)化學(xué)習(xí)方法的多智能體之間的協(xié)作研究。主要的研究工作包括： (1)針對(duì)RoboCup仿真系統(tǒng)中多智能體的協(xié)作問(wèn)題提出了特定狀態(tài)下的多智能體強(qiáng)化學(xué)習(xí)方法。傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法是基于單個(gè)智能體的，而本文中的多智能體強(qiáng)化學(xué)習(xí)方法是分層的強(qiáng)化學(xué)習(xí)，多個(gè)智能體同時(shí)進(jìn)行學(xué)習(xí)，進(jìn)而得到最優(yōu)的聯(lián)合動(dòng)作策略。在進(jìn)行學(xué)習(xí)之前進(jìn)行區(qū)域劃分，依據(jù)球所在區(qū)域的不同進(jìn)行不同的

3、動(dòng)作選擇，減少動(dòng)作狀態(tài)空間，降低了學(xué)習(xí)復(fù)雜度，同時(shí)也有效地實(shí)現(xiàn)了RoboCup仿真系統(tǒng)中球員間的協(xié)作。 (2)將在策略強(qiáng)化學(xué)習(xí)方法—Sarsa算法應(yīng)用到RoboCup仿真比賽的子任務(wù)3vs.2的keepaway平臺(tái)，研究3個(gè)智能體間的動(dòng)作協(xié)作，以保持較長(zhǎng)時(shí)間的控球權(quán)。由于去掉了仿真系統(tǒng)服務(wù)器對(duì)球員的一些限制，因此使得球員的動(dòng)作學(xué)習(xí)和選擇體現(xiàn)在球員之間的協(xié)作上。通過(guò)與隨機(jī)策略下控球時(shí)間相比較，可以發(fā)現(xiàn)經(jīng)過(guò)強(qiáng)化學(xué)習(xí)后的球員具有更長(zhǎng)的