基于測(cè)地高斯核的策略迭代強(qiáng)化學(xué)習(xí).pdf

1、作為一類重要的機(jī)器學(xué)習(xí)方法，經(jīng)典查找表形式的強(qiáng)化學(xué)習(xí)方法在大規(guī)?；蛘哌B續(xù)空間任務(wù)中普遍面臨“維數(shù)災(zāi)難”問題，而基于逼近技術(shù)的近似強(qiáng)化學(xué)習(xí)方法則克服了此問題。目前，近似強(qiáng)化學(xué)習(xí)方法已經(jīng)成功地應(yīng)用到了自動(dòng)控制、人工智能以及智能機(jī)器人等領(lǐng)域，是強(qiáng)化學(xué)習(xí)研究領(lǐng)域的一個(gè)熱點(diǎn)。
　　本文主要從值函數(shù)逼近方面對(duì)近似強(qiáng)化學(xué)習(xí)方法展開研究?；瘮?shù)的選取工作對(duì)于基于值函數(shù)逼近的近似策略迭代至關(guān)重要。針對(duì)基于線性值函數(shù)逼近的強(qiáng)化學(xué)習(xí)算法存在基函數(shù)選取困

2、難的問題，選擇在圖上具有光滑性且計(jì)算簡(jiǎn)單的測(cè)地高斯核以更好地逼近光滑且不連續(xù)的值函數(shù)。針對(duì)基于測(cè)地高斯基的強(qiáng)化學(xué)習(xí)方法中存在的一些問題，提出兩點(diǎn)改進(jìn)算法。第一，對(duì)于狀態(tài)空間在歐氏空間不連續(xù)的強(qiáng)化學(xué)習(xí)任務(wù)，測(cè)地高斯基直接在歐氏空間內(nèi)求取最短路徑的結(jié)果不理想；針對(duì)此問題，引入流形學(xué)習(xí)中基于譜圖理論的拉普拉斯特征映射算法，提出一種基于狀態(tài)圖流形測(cè)地高斯基的策略迭代強(qiáng)化學(xué)習(xí)方法；基于流形距離構(gòu)造的高斯基函數(shù)提高了值函數(shù)的估計(jì)精度，Agent能夠