基于因素化表示的強(qiáng)化學(xué)習(xí)方法研究.pdf

1、強(qiáng)化學(xué)習(xí)是隨機(jī)環(huán)境中解決決策問題一種有效的方法。然而，在大狀態(tài)空間，特別是在復(fù)雜隨機(jī)狀態(tài)下的應(yīng)用領(lǐng)域，它仍然沒有解決“維數(shù)災(zāi)難”的問題。目前，因素化強(qiáng)化學(xué)習(xí)作為強(qiáng)化學(xué)習(xí)在時間和空間上的擴(kuò)展，已經(jīng)被證明比強(qiáng)化學(xué)習(xí)更適合解決大狀態(tài)隨機(jī)控制問題，在機(jī)器人導(dǎo)航等方面有著廣闊的應(yīng)用前景。但是，目前的研究工作集中在學(xué)習(xí)前狀態(tài)空間的前期處理，對學(xué)習(xí)過程缺乏深入研究。本文圍繞強(qiáng)化學(xué)習(xí)前的狀態(tài)空間的前期處理以及學(xué)習(xí)過程中值函數(shù)的值的存儲和表示，對以下方面

2、進(jìn)行了研究和探討： 1.介紹了因素化學(xué)習(xí)的基本學(xué)習(xí)理論和研究進(jìn)展，并對四種典型的強(qiáng)化學(xué)習(xí)算法作了分析比較，分析了它們的各自特點和適用情況，為后面的工作中算法的選擇提供了基礎(chǔ)。 2.提出了改進(jìn)的基于因素化表示的動態(tài)規(guī)劃方法，針對動態(tài)規(guī)劃方法中求解精確的Vπ值計算量復(fù)雜的問題，提出了改進(jìn)的使用生成Vπ的線性近似值以獲取算法的加速的方法；針對傳統(tǒng)強(qiáng)化學(xué)習(xí)算法使用值函數(shù)Look-up表存儲和表示值函數(shù)的值存在著的冗余度過高的問題

3、，提出了決策樹方法，并在后面的仿真實驗中驗證算法效果。 3.提出了一種新的基于因素法方法的TD(λ)算法。其基本思想是狀態(tài)因素化表示，通過動態(tài)貝葉斯網(wǎng)絡(luò)(Dynamic Bayes Networks，DBNs)表示Markov決策過程(Markov decision Process，MDP)中的狀態(tài)概率轉(zhuǎn)移函數(shù)，結(jié)合決策樹(decision tree)表示TD(λ)算法中的狀態(tài)值函數(shù)的值，大大降低了狀態(tài)空間的搜索與計算復(fù)雜度、以