基于動作抽象的分層強化學習算法研究.pdf

1、強化學習可以通過與環(huán)境交互完成自主學習與優(yōu)化，是一類重要的機器學習方法。然而強化學習也存在若干難點亟待解決，如“維數(shù)災難”問題，在提高算法效果的前提下同時提高算法效率等。作為強化學習中的一個重要領(lǐng)域，分層強化學習將學習任務分解成多個子任務然后分別求解，可以有效地解決強化學習問題中的“維數(shù)災難”問題并提高算法效率。
　　抽象機制是分層強化學習主要實現(xiàn)方法，包括動作抽象、任務抽象和狀態(tài)抽象。本文圍繞如何快速高效地發(fā)現(xiàn)抽象動作以及如何高

2、效地利用好抽象動作展開研究，提出了幾種控制優(yōu)化和自動發(fā)現(xiàn)抽象動作的分層強化學習算法，主要包括以下三部分內(nèi)容：
　?。?）經(jīng)典的基于Option框架的抽象動作方法不能很好解決動態(tài)環(huán)境下的學習和控制問題，針對此問題，本文提出一種在線學習的使用可中斷動作抽象的算法(Interrupting Macro-Q，IMQ)。IMQ通過原有抽象動作算法基礎(chǔ)上引入中斷，能夠有效解決動態(tài)環(huán)境下一般強化學習算法由于時間復雜度過高而不能解決的問題。IMQ

3、算法將中斷的思想與動態(tài)環(huán)境的特性相結(jié)合，在動態(tài)的環(huán)境下學習并改進控制策略，提高了算法的學習和控制效率。
　　（2）基于多樣性密度度量方法的抽象動作發(fā)現(xiàn)算法軌跡采樣噪聲大，導致Agent識別子目標時間長且學習效果差，針對此問題，本文提出一種采用無環(huán)軌跡降噪的多樣性密度度量抽象動作發(fā)現(xiàn)算法。該算法對Agent得到的軌跡樣本進行降噪處理，達到減少學習時間和優(yōu)化抽象動作的效果。該算法避免了過度采樣導致的計算量過大的問題，不但能夠大大降低識

4、別子目標所需要的時間，而且能夠發(fā)現(xiàn)較好的抽象動作，提高了算法的學習效率。
　?。?）傳統(tǒng)的基于離散時間半馬爾科夫決策過程(Discrete-time Semi-Markov Decision Processes，DT-SMDP)的自動分層強化學習方法無法直接用于解決連續(xù)時間無窮任務，針對此問題，本文提出一種基于連續(xù)時間半馬爾科夫決策過程(Continues-time Semi-Markov Decision Processes，C