基于MAXQ的自動分層方法的研究.pdf

1、強化學習通過試錯與環(huán)境交互獲得策略的改進，其自學習和在線學習的特點使其成為機器學習研究的一個重要分支。但是，強化學習一直被維數災難所困擾。近年來，分層強化學習在克服維數災難方面取得了顯著進展。分層強化學習的實質是通過在強化學習的基礎上增加“抽象”機制，把整體任務分解為不同層次上的子任務，使每個子任務在規(guī)模較小的子問題空間中求解，并且求得的子任務策略可以復用，從而加快問題的求解速度。典型的成果有Option、HAM和MAXQ等方法，其中O

2、ption和MAXQ目前使用較為廣泛。MAXQ方法在線學習能力強，但MAXQ任務圖的構造仍舊依賴手動構造，且手動分層的粒度不夠精細，難于對一些規(guī)模依然很大的子任務做出進一步的分解，很難適用于現階段技術發(fā)展的需求。針對這一問題，學術界仍沒有找到一個好的解決辦法。
　　本文提出的框架可以一定程度上的解決人規(guī)模任務下的MAXQ自動分層問題，并深入研究該算法所涉及的理論和計算問題，以及該方法在實際應用中需要解決的問題。論文的主要工作有兩點