激勵(lì)學(xué)習(xí)的若干新算法及其理論研究.pdf

1、本博士論文大體上可以分成兩大部分，第一部分我們給出了激勵(lì)學(xué)習(xí)的一些新算法，其目的是為了改進(jìn)現(xiàn)有算法所面臨的諸于維數(shù)災(zāi)難與計(jì)算速度等問(wèn)題。第二部分是我們?cè)诨陲L(fēng)險(xiǎn)敏感度概念的基礎(chǔ)上，研究了與激勵(lì)學(xué)習(xí)有關(guān)的最優(yōu)方程與最優(yōu)解的理論問(wèn)題。 本論文首先提出了一種新的激勵(lì)學(xué)習(xí)算法，即我們所說(shuō)的激勵(lì)學(xué)習(xí)的遺忘算法。這種算法的基本思想是基于下面的考慮：以前的有關(guān)激勵(lì)學(xué)習(xí)算法都只是通過(guò)對(duì)狀態(tài)被訪問(wèn)次數(shù)的短時(shí)記憶來(lái)確定狀態(tài)值函數(shù)空間的更新長(zhǎng)度。對(duì)于

2、這些算法來(lái)說(shuō)，無(wú)論是用lookup表的形式，還是用函數(shù)逼近器的形式，對(duì)所有狀態(tài)的值函數(shù)都必須要全部記憶。這些方法對(duì)大狀態(tài)空間問(wèn)題會(huì)導(dǎo)致需要指數(shù)增長(zhǎng)的記憶容量，從而呈指數(shù)地減慢計(jì)算速度。Sutton等人考慮過(guò)這個(gè)問(wèn)題，但始終沒(méi)有得到滿意的解決方案?；谏鲜隹紤]，將記憶心理學(xué)中有關(guān)遺忘的基本原理引入值函數(shù)的激勵(lì)學(xué)習(xí)算法的研究之中，特別是對(duì)于著名的SARSA(λ)算法，形成了一類(lèi)適合于值函數(shù)激勵(lì)學(xué)習(xí)的遺忘算法。 我們提出了基于效用聚類(lèi)

3、的激勵(lì)學(xué)習(xí)算法。這種算法的模型使用了POMDP的某些概念。在激勵(lì)學(xué)習(xí)的諸多算法中，把非常多的精力集中在如何對(duì)系統(tǒng)的大狀態(tài)空間進(jìn)行有效的分解，其中U-Tree算法是其之一。但是，由于U-Tree算法的一個(gè)最大的問(wèn)題是邊緣節(jié)點(diǎn)生成的隨意性和統(tǒng)計(jì)檢驗(yàn)的計(jì)算負(fù)擔(dān)，各種擴(kuò)展方法都沒(méi)有解決這個(gè)問(wèn)題。本文提出了一種新的效用聚類(lèi)激勵(lì)學(xué)習(xí)算法，即我們稱(chēng)之為U-Clustering算法。該算法完全不用進(jìn)行邊緣節(jié)點(diǎn)的生成和測(cè)試，克服了上述提及的U-Tree算

4、法的致命弱點(diǎn)。我們的新算法首先根據(jù)實(shí)例鏈的觀測(cè)動(dòng)作值對(duì)實(shí)例進(jìn)行聚類(lèi)，然后對(duì)每個(gè)聚類(lèi)進(jìn)行特征選擇，最后再進(jìn)行特征壓縮，經(jīng)過(guò)壓縮后的新特征就成為新的葉節(jié)點(diǎn)。實(shí)驗(yàn)與仿真結(jié)果表明，我們的新算法比一般的U-Tree算法更有效。 針對(duì)具有大狀態(tài)空間的環(huán)境系統(tǒng)以及系統(tǒng)狀態(tài)不完全可觀測(cè)所面臨的問(wèn)題，本論文提出了求解部分可觀測(cè)Markov決策過(guò)程的動(dòng)態(tài)合并算法。這個(gè)方法利用區(qū)域這個(gè)概念，在環(huán)境狀態(tài)空間上建立一個(gè)區(qū)域系統(tǒng)，而Agent在區(qū)域系統(tǒng)的每

5、個(gè)區(qū)域上獨(dú)自實(shí)現(xiàn)其最優(yōu)目標(biāo)，就好像有若干個(gè)Agent在并行工作一樣。然后把各組成部分的最優(yōu)值函數(shù)按一定的方式整合，最后得出POMDP的最優(yōu)解。另外還對(duì)提出的算法進(jìn)行了復(fù)雜度分析和仿真實(shí)驗(yàn)。通過(guò)對(duì)New York Driving的仿真和算法的實(shí)驗(yàn)分析，結(jié)果表明動(dòng)態(tài)合并算法對(duì)于大狀態(tài)空間上的求解問(wèn)題是一個(gè)非常有效的算法。 本文提出了風(fēng)險(xiǎn)敏感度的激勵(lì)學(xué)習(xí)廣義平均算法。這個(gè)算法通過(guò)潛在地犧牲解的最優(yōu)性來(lái)獲取魯棒性(Robustness)

6、。提出這種算法的主要原因是因?yàn)?，如果在理論模型與實(shí)際的物理系統(tǒng)之間存在不匹配，或者實(shí)際系統(tǒng)是非靜態(tài)的，或者控制動(dòng)作的“可使用性”隨時(shí)間的變化而變化時(shí)，那么魯棒性就可能成為一個(gè)十分重要的問(wèn)題。我們利用廣義平均算子來(lái)替代最大算子max(或sup)，對(duì)激勵(lì)學(xué)習(xí)問(wèn)題中的動(dòng)態(tài)規(guī)劃算法進(jìn)行了研究，并討論了它們的收斂性，目的就是為了提高激勵(lì)學(xué)習(xí)算法的魯棒性。我們提出了風(fēng)險(xiǎn)敏感度漸進(jìn)策略遞歸激勵(lì)學(xué)習(xí)算法并對(duì)策略的最優(yōu)性進(jìn)行了討論。當(dāng)系統(tǒng)的計(jì)算出現(xiàn)維數(shù)災(zāi)

7、難時(shí)，比如在Markov決策過(guò)程的求解問(wèn)題中，如果系統(tǒng)的動(dòng)作空間非常之大，那么利用一般的策略遞歸(PI)算法或值遞歸(VI)算法，來(lái)進(jìn)行策略的改進(jìn)計(jì)算是不實(shí)際的。我們這個(gè)算法所關(guān)注的問(wèn)題是，當(dāng)狀態(tài)空間相對(duì)較小而動(dòng)作空間非常之大時(shí)如何得到最優(yōu)策略或好的策略。在本算法的策略改進(jìn)過(guò)程中，不需在整個(gè)動(dòng)作空間上對(duì)值函數(shù)進(jìn)行最大化運(yùn)算，而是通過(guò)策略轉(zhuǎn)換的方法來(lái)直接處理策略問(wèn)題的。 本文的另一個(gè)主要內(nèi)容是，我們對(duì)多時(shí)間尺度風(fēng)險(xiǎn)敏感度Marko

8、v決策過(guò)程的最優(yōu)方程與解的最優(yōu)性問(wèn)題進(jìn)行了初步研究。由于需要使智能體能夠適應(yīng)更加復(fù)雜的環(huán)境，因此大規(guī)模控制問(wèn)題在實(shí)際應(yīng)用中顯得越來(lái)越重要。在本章中采用了一種更加符合實(shí)際情況的復(fù)雜環(huán)境，即多時(shí)間尺度下的Markov決策過(guò)程模型，并利用風(fēng)險(xiǎn)敏感度的概念，第一次提出了多時(shí)間尺度風(fēng)險(xiǎn)敏感度Markov決策過(guò)程的概念。這是一個(gè)全新的問(wèn)題。我們利用效用函數(shù)和風(fēng)險(xiǎn)敏感度等概念，討論了二時(shí)間尺度風(fēng)險(xiǎn)敏感度Markov決策問(wèn)題，然后給出了二時(shí)間尺度風(fēng)險(xiǎn)敏