強化學習中基函數(shù)構造方法研究.pdf

1、強化學習是一種從環(huán)境狀態(tài)到動作映射的學習方法。很多領域的實際問題都可以描述為強化學習問題，因而強化學習具有廣闊的應用前景。但是，實際系統(tǒng)的空間往往是大規(guī)模或連續(xù)的，強化學習不可避免地會遇到狀態(tài)變量的空間復雜度問題，即“維數(shù)災難”。針對這一問題，本文以基函數(shù)構造方法為基點，提出了幾種針對大規(guī)模或連續(xù)狀態(tài)空間的強化學習算法。主要研究包括以下三部分內(nèi)容：
　　（1）針對大規(guī)模狀態(tài)空間自適應Tile-Coding算法存在誤劃分，會導致存儲

2、空間增大以及學習速率減慢的問題，在原有自適應Tile-Coding算法的基礎上，提出根據(jù)一定的閾值條件對劃分后相鄰的離散區(qū)域進行二次合并的算法。該算法消除了因為誤劃分所產(chǎn)生的不良影響，不僅能進一步地縮減存儲空間，解決了“維數(shù)災難”問題，而且能提高算法的學習效率．
　?。?）針對在批量強化學習算法中遇到的所需樣本集合容量過大以及樣本選擇的問題，提出一種適用于大規(guī)模狀態(tài)空間的基于探索樹的擬合Q迭代算法。該算法在傳統(tǒng)單次采樣的擬合Q迭代

3、算法的基礎上，在每輪迭代前根據(jù)各個區(qū)域的收斂程度、樣本密度的不同進行局部采樣，引入新的樣本。該算法不僅解決了隨機采樣所帶來的收斂效果不穩(wěn)定的問題，而且在很大程度上提高了樣本的有效性，避免了過度采樣導致的計算量過大的問題。
　?。?）針對傳統(tǒng)的函數(shù)逼近方法難以適用于解決高維度的大規(guī)模狀態(tài)空間的問題，提出在子特征空間上的核函數(shù)構造方法，間接地降低了問題的維度，并使得算法能夠通過線性函數(shù)逼近的方法實現(xiàn)非線性逼近的特性。該算法解決了傳統(tǒng)的