SMDP基于性能勢的異步優(yōu)化算法.pdf

1、隨著社會和科技的發(fā)展，離散事件動態(tài)系統(tǒng)(DEDS)的性能分析和優(yōu)化應(yīng)用已經(jīng)成為控制與系統(tǒng)、管理、計算機等學科交叉領(lǐng)域內(nèi)的一個前沿研究方向。半馬爾可夫決策過程(SMDP)作為現(xiàn)實中一類廣泛的系統(tǒng)模型，可以用來描述大部分的實際系統(tǒng)。由于實際應(yīng)用的需要，SMDP的優(yōu)化控制已經(jīng)成為控制理論界的研究熱點之一。性能勢理論的完善為SMDP的優(yōu)化控制提供了一個較為完整的理論框架。 本文主要在性能勢的基礎(chǔ)上，研究SMDP在緊致行動集上的異步優(yōu)化算

2、法，且所有算法是折扣準則和平均準則統(tǒng)一的。首先介紹了SMDP在緊致行動集上基于無窮小矩陣Ava的標準數(shù)值迭代，給出算法，并證明其收斂性，另外討論了兩種性能準則下的異步數(shù)值迭代算法，其中主要介紹Gauss-Seidel迭代和基于樣本軌道仿真的異步數(shù)值迭代。然后基于性能勢的思想對有關(guān)的算法進行改進。以上研究結(jié)果均可適用于連續(xù)時間馬爾可夫決策過程(CTMDP)。 傳統(tǒng)的理論計算優(yōu)化算法優(yōu)化精度高，優(yōu)化速度快，但不能適用于大規(guī)模系統(tǒng)，而

3、基于仿真的優(yōu)化算法，如TD學習、NDP優(yōu)化等可以解決理論優(yōu)化算法的問題，結(jié)合這兩種方法的特點，本文討論了異步策略迭代的幾種形式，如M步向前策略迭代，基于TD學習的M步向前策略迭代，基于NDP學習的M步向前策略迭代算法。以上幾種算法均是折扣準則與平均準則統(tǒng)一的。 本文用一個SMDP的數(shù)值實例來說明相關(guān)優(yōu)化算法的應(yīng)用，比較各種算法的優(yōu)缺點，該結(jié)果可以直接運用到連續(xù)時間馬爾可夫決策過程中。 在異步優(yōu)化算法的基礎(chǔ)上，文章還介紹了