動態(tài)不確定性環(huán)境下的實時規(guī)劃系統(tǒng)研究.pdf

1、作為一種非常重要而且常見的智能行為和能力，規(guī)劃(Planning)就成為人工智能研究的一個重要領(lǐng)域，很早就受到關(guān)注的主要問題之一。而在動態(tài)不確定性環(huán)境下的規(guī)劃就因其更加貼近現(xiàn)實環(huán)境，具有更高的實用價值而成為目前規(guī)劃問題研究的重點和熱點。 本文首先分析動態(tài)不確定性環(huán)境的主要特點，包括： ■動態(tài)性：環(huán)境的狀態(tài)無時無刻不在變化。它不僅僅受智能體自身的影響而變化，還受環(huán)境中其他智能體和其他因素的影響而變化。 ■智能體知識

2、的局限性：一般來說，智能體不可能掌握環(huán)境中所有的知識，不可能了解可以引起環(huán)境變化的所有因素，不可能了解其他智能體的所有情況。智能體只可能部分的掌握這些知識，甚至對一些方面一無所知。 ■智能體行動的不確定性：智能體在環(huán)境中執(zhí)行一定的行為，其結(jié)果是不確定的，事先無法對這個結(jié)果作準(zhǔn)確的預(yù)測。 ■智能體觀察的局部性：一般來說，智能體對環(huán)境的觀察是不全面的。在同一時刻，智能體只能觀察到環(huán)境中一部分的情況。 ■智能體觀察的不

3、確定性：智能體從環(huán)境中得到的觀察一般來說是不準(zhǔn)確的，有時甚至是錯誤的。 然后，對現(xiàn)有的規(guī)劃系統(tǒng)在適應(yīng)上述動態(tài)不確定性環(huán)境的能力進(jìn)行了概述。分析了這些系統(tǒng)在適應(yīng)動態(tài)不確定性環(huán)境方面各自的優(yōu)點和不足。 本文的主要工作是基于以上的分析和認(rèn)識，提出了基于PRS和決策論規(guī)劃的面向動態(tài)不確定性環(huán)境的規(guī)劃系統(tǒng)POMDPRS。并討論了兩種提高決策效率的改進(jìn)方法。具體工作主要有： 1)提出了面向動態(tài)不確定性環(huán)境的規(guī)劃系統(tǒng)POMDP

4、RS。描述了其基本模型，并給出了形式化描述。POMDPRS通過保持PRS系統(tǒng)的持續(xù)規(guī)劃機制來適應(yīng)環(huán)境的動態(tài)性，通過使用環(huán)境狀態(tài)空間上的概率分布作為智能體的信念來適應(yīng)環(huán)境的不確定性，從而兼顧了兩個大方面的要求。 2)闡述了狀態(tài)因子化表示在POMDPRS中的應(yīng)用，并給出了因子化的POMDPRS——FPOMDPRS的形式化描述。POMDPRS使用環(huán)境狀態(tài)空間上的概率分布作為智能體的信念，并根據(jù)智能體輸出的行為和接收到的觀察來對其進(jìn)行更

5、新。但是在很多情況下，狀態(tài)空間往往十分巨大，從而使得信念更新的時間消耗非常高，難以適應(yīng)系統(tǒng)反應(yīng)實時性的需要。因子化方法通過將狀態(tài)表示中涉及到的環(huán)境屬性根據(jù)其互相依賴關(guān)系來對它們進(jìn)行劃分。將一個狀態(tài)表示為幾個子狀態(tài)的集合，從而將未因子化時的一個大狀態(tài)空間變成幾個較小的狀態(tài)空間。從而信念也就變成幾個子狀態(tài)空間上的概率分布的集合。在信念更新的時候，對這幾個子狀態(tài)空間上的概率分布分別處理，從而達(dá)到削減信念分布時間消耗的作用。 3)闡述了

6、Monte Carlo濾波表示在POMDPRS中的應(yīng)用，并給出了應(yīng)用MonteCarlo濾波的POMDPRS——MCPOMDPRS的形式化描述。削減信念更新的時間消耗的另一個方法是Monte Carlo濾波。它通過使用概率分布上有限的一些具體數(shù)值(樣本)來代表整個分布，并根據(jù)行動和觀察，使用SIR方法來對這個樣本集進(jìn)行更新。這使得信念更新的時間消耗依賴于樣本集的大小。從而可以通過控制樣本集的大小來控制信念更新的時間消耗。 因子化