實(shí)用POMDP近似求解算法的研究.pdf

1、在人工智能領(lǐng)域，動(dòng)態(tài)的、不確定性的序列決策問(wèn)題是研究Agent與環(huán)境交互的策略的核心問(wèn)題。在實(shí)際應(yīng)用領(lǐng)域，隨著系統(tǒng)的復(fù)雜化，大量的問(wèn)題都可抽象為動(dòng)態(tài)的、不確定性的序列決策問(wèn)題，因而對(duì)這些問(wèn)題的研究具有廣泛而深遠(yuǎn)的意義。POMDP作為求解滿(mǎn)足 Markov假設(shè)的動(dòng)態(tài)的、不確定性的序列決策問(wèn)題的一種強(qiáng)大而靈活的框架，成為研究的焦點(diǎn)。
　　本文從實(shí)用性角度出發(fā)，研究了獲得最優(yōu)POMDP策略的算法。
　　從對(duì)實(shí)際應(yīng)用的廣泛適用性出發(fā)

2、，本文研究了基于實(shí)例的算法，包括NNI，LWI和ENNI。此算法結(jié)合使用了基于實(shí)例學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的技術(shù)。通過(guò)實(shí)例學(xué)習(xí)，可獲取Agent的準(zhǔn)確的交互數(shù)據(jù)，由于它對(duì)模型沒(méi)有特殊要求，因此使得最終的算法具有廣泛的適用性，不僅可在離散的Markov環(huán)境下應(yīng)用，更可以應(yīng)用于連續(xù)狀態(tài)的情況和非Markov環(huán)境的情況。通過(guò)增強(qiáng)學(xué)習(xí)，不斷地搜索策略空間，尋找更優(yōu)的策略。通過(guò)學(xué)習(xí)獲得了與策略相關(guān)的數(shù)據(jù)，然后使用啟發(fā)式的求解方法來(lái)獲得優(yōu)化的策略。實(shí)驗(yàn)表明，

3、在沒(méi)有模型參數(shù)的情況下，它可獲得優(yōu)于Q-MDP算法的策略。
　　為了解決POMDP求解算法的復(fù)雜性問(wèn)題，開(kāi)發(fā)高效的求解算法，本文研究了基于核信念的求解算法 KBVI。KBVI通過(guò)采樣從初始信念狀態(tài)可達(dá)的信念狀態(tài)獲得與具體問(wèn)題結(jié)構(gòu)相關(guān)的信息，基于這些數(shù)據(jù)通過(guò)值迭代求解POMDP來(lái)獲得最優(yōu)策略。KBVI把求解POMDP的復(fù)雜性降低到多項(xiàng)式級(jí)，與其他的基于信念點(diǎn)的算法相比，它可以更高效的獲得同等的甚至更優(yōu)的策略。
　　為了獲得求解