基于Q學(xué)習(xí)的RoboCup Agent智能策略的研究與應(yīng)用.pdf

1、機(jī)器人世界杯足球賽(The Robot World Cup,簡(jiǎn)稱(chēng)RoboCup),是典型的MAS(Multi-Agent Systems,簡(jiǎn)記為MAS)問(wèn)題,可以用來(lái)評(píng)價(jià)多種人工智能理論、算法和體系結(jié)構(gòu)。
　　強(qiáng)化學(xué)習(xí)是一種以環(huán)境反饋?zhàn)鳛檩斎氲?、特殊的、適應(yīng)環(huán)境的、從環(huán)境狀態(tài)到行為映射以使系統(tǒng)行為從環(huán)境中獲得的累積獎(jiǎng)賞值最大的機(jī)器學(xué)習(xí)方法。該方法不同于監(jiān)督學(xué)習(xí)技術(shù)那樣通過(guò)正例、反例來(lái)告知采取何種行為,而是通過(guò)試錯(cuò)的方法來(lái)發(fā)現(xiàn)最優(yōu)行

2、為策略,因此廣泛應(yīng)用于Agent的智能決策。目前主流的強(qiáng)化學(xué)習(xí)算法是Q學(xué)習(xí)算法。本文針對(duì)RoboCup中的幾個(gè)具體問(wèn)題,從Q學(xué)習(xí)算法、模糊Q學(xué)習(xí)算法、分層模糊Q學(xué)習(xí)算法三個(gè)方面分別闡述其在RoboCup中的Agent智能決策學(xué)習(xí)。本文的研究?jī)?nèi)容主要包括以下三個(gè)方面:
　　首先,針對(duì)RoboCup中守門(mén)員的防守策略問(wèn)題,傳統(tǒng)的幾何計(jì)算得到的防守策略已經(jīng)不能適應(yīng)比賽中多變的情況。RoboCup的比賽環(huán)境是動(dòng)態(tài)、復(fù)雜的開(kāi)放環(huán)境,利用Q學(xué)

3、習(xí)算法,分別離散守門(mén)員的狀態(tài)空間、動(dòng)作空間,制定獎(jiǎng)賞策略函數(shù),通過(guò)試錯(cuò)的方法來(lái)發(fā)現(xiàn)最優(yōu)行為策略,實(shí)驗(yàn)結(jié)果證明了Q學(xué)習(xí)算法在守門(mén)員防守決策學(xué)習(xí)問(wèn)題上的有效性。
　　其次,針對(duì)大規(guī)律強(qiáng)化學(xué)習(xí)的維數(shù)災(zāi)難問(wèn)題,結(jié)合Q學(xué)習(xí)算法和模糊推理系統(tǒng),應(yīng)用模糊Q學(xué)習(xí)算法,解決Q學(xué)習(xí)處理連續(xù)的狀態(tài)空間和連續(xù)的動(dòng)作空間能力不足的弊端,通過(guò)學(xué)習(xí)得到一個(gè)規(guī)則庫(kù),進(jìn)而為Agent的動(dòng)作選擇提供依據(jù)。我們將這個(gè)算法應(yīng)用于RoboCup的帶球問(wèn)題中,實(shí)現(xiàn)了帶球策略