半Markov切換空間控制過程及其應(yīng)用.pdf

1、隨著信息科學(xué)技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，出現(xiàn)了大量反映現(xiàn)代科學(xué)技術(shù)發(fā)展方向的網(wǎng)絡(luò)通信系統(tǒng)。在應(yīng)用需求的推動(dòng)下，網(wǎng)絡(luò)通信系統(tǒng)的功能日益強(qiáng)大，結(jié)構(gòu)日趨復(fù)雜，加上多種控制策略與隨機(jī)變化的應(yīng)用環(huán)境頻繁交互，使得系統(tǒng)的動(dòng)態(tài)行為更加復(fù)雜。網(wǎng)絡(luò)通信系統(tǒng)的性能分析和優(yōu)化為系統(tǒng)的設(shè)計(jì)提供依據(jù)，為系統(tǒng)的運(yùn)行提供控制決策方案，在提高系統(tǒng)的運(yùn)行效率和服務(wù)能力并提供服務(wù)質(zhì)量保證方面發(fā)揮著關(guān)鍵的作用。在諸如系統(tǒng)與控制、運(yùn)籌學(xué)、計(jì)算機(jī)科學(xué)及人工智能等領(lǐng)域，出現(xiàn)了眾多用

2、于研究隨機(jī)動(dòng)態(tài)系統(tǒng)性能與優(yōu)化的方法。實(shí)際網(wǎng)絡(luò)通信系統(tǒng)的復(fù)雜性與現(xiàn)有優(yōu)化方法的局限性，是該研究領(lǐng)域所面臨的挑戰(zhàn)。如何更好地描述系統(tǒng)的特征并加以有效利用，探索新的優(yōu)化方法，解決實(shí)際網(wǎng)絡(luò)通信系統(tǒng)中存在的關(guān)鍵技術(shù)問題，是當(dāng)前面臨的重要理論和應(yīng)用課題。 本文研究旨在面向現(xiàn)代網(wǎng)絡(luò)通信系統(tǒng)中的全新控制對(duì)象，探索有效的性能分析與優(yōu)化方法。系統(tǒng)地提出事件驅(qū)動(dòng)的具有層次化動(dòng)態(tài)結(jié)構(gòu)的半Markov切換空間控制過程，涉及到系統(tǒng)的建模、性能分析、基于事件

3、的優(yōu)化方法。通過對(duì)事件靈活定義和分類，并根據(jù)系統(tǒng)的動(dòng)態(tài)特征，從狀態(tài)空間上將系統(tǒng)劃分為多個(gè)層級(jí)，使得模型的構(gòu)建具有很高的靈活性、普適性和可擴(kuò)展性，提高對(duì)實(shí)際系統(tǒng)的描述能力。采用事件驅(qū)動(dòng)的控制策略，以減小策略空間，大幅度降低優(yōu)化算法的計(jì)算復(fù)雜度，提高算法的實(shí)時(shí)性。利用事件驅(qū)動(dòng)的策略特性及層次化的動(dòng)態(tài)結(jié)構(gòu)信息，來降低優(yōu)化算法對(duì)系統(tǒng)參數(shù)信息的依賴，提高算法的自適應(yīng)性。探索網(wǎng)絡(luò)通信系統(tǒng)中一類關(guān)鍵技術(shù)問題的解決途徑，如無線多媒體通信網(wǎng)的適應(yīng)帶寬配置

4、、動(dòng)態(tài)電源管理的策略優(yōu)化、新一代網(wǎng)絡(luò)媒體服務(wù)系統(tǒng)的建模與優(yōu)化，為現(xiàn)代信息服務(wù)業(yè)提供低代價(jià)、高性能、可擴(kuò)展、易管理的控制決策方案。 通過對(duì)不同層級(jí)事件的定義，構(gòu)造在事件驅(qū)動(dòng)控制策略下系統(tǒng)的半Markov核和擬無窮小矩陣，定義了性能函數(shù)、切換代價(jià)以及優(yōu)化的性能測(cè)度，提出了半Markov切換空間控制過程的模型?；诎隡arkov性能勢(shì)，推導(dǎo)半Markov切換空間過程的Poisson方程，進(jìn)而構(gòu)造出事件驅(qū)動(dòng)策略的靈敏度公式，包括性能梯度

5、和性能差公式。對(duì)于確定型策略的優(yōu)化，充分利用切換過程半。Markov核和擬無窮小矩陣中包含的層次化動(dòng)態(tài)結(jié)構(gòu)信息，推導(dǎo)了事件驅(qū)動(dòng)的切換控制策略的比較定理，擺脫策略迭代算法對(duì)轉(zhuǎn)移概率信息的依賴，實(shí)現(xiàn)算法的自適應(yīng)性；利用事件驅(qū)動(dòng)的策略特性，放寬了策略迭代算法的適用性條件即行動(dòng)不相關(guān)的前提，拓展了策略迭代算法的適用范圍；通過依據(jù)事件進(jìn)行性能勢(shì)聚集，減少需要計(jì)算或估計(jì)的性能勢(shì)數(shù)量，有效降低計(jì)算的復(fù)雜度和提高算法的實(shí)時(shí)性。在此基礎(chǔ)上，提出了基于單樣

6、本軌道的在線自適應(yīng)策略迭代算法，證明了算法的收斂性。對(duì)于隨機(jī)型策略的優(yōu)化，在性能梯度公式的基礎(chǔ)上，結(jié)合性能勢(shì)基于單樣本軌道的表示形式，推導(dǎo)出平均性能測(cè)度關(guān)于事件驅(qū)動(dòng)的切換控制策略的性能梯度基于單樣本軌道的估計(jì)式，進(jìn)而結(jié)合隨機(jī)逼近算法，提出了基于策略梯度的在線自適應(yīng)優(yōu)化算法。利用事件驅(qū)動(dòng)的策略特性，有效減小優(yōu)化算法的計(jì)算量，擺脫對(duì)系統(tǒng)參數(shù)的依賴，提高算法的自適應(yīng)性。系統(tǒng)的層次化動(dòng)態(tài)結(jié)構(gòu)使得基于梯度的算法能夠收斂到全局最優(yōu)。研究無線多媒體通

7、信網(wǎng)的適應(yīng)帶寬配置，通過構(gòu)建事件驅(qū)動(dòng)的隨機(jī)分析模型，將適應(yīng)帶寬配置問題轉(zhuǎn)化為一個(gè)帶約束的隨機(jī)優(yōu)化問題。在模型中，適應(yīng)帶寬配置和呼叫準(zhǔn)入控制構(gòu)成一個(gè)統(tǒng)一整體，考慮了各類業(yè)務(wù)的不同優(yōu)先級(jí)，區(qū)分了新到達(dá)呼叫與越區(qū)切換呼叫?？紤]三種重要的QoS指標(biāo)作為約束，提出一種結(jié)合策略梯度估計(jì)和隨機(jī)逼近的在線自適應(yīng)優(yōu)化算法。該算法充分利用事件驅(qū)動(dòng)的策略特性，計(jì)算和評(píng)估只需在事件發(fā)生的時(shí)刻進(jìn)行，并且不依賴于系統(tǒng)參數(shù)的信息，對(duì)環(huán)境的變化具有良好的適應(yīng)性，能夠保

8、證收斂到全局最優(yōu)值，有效求解多種QoS指標(biāo)約束下的適應(yīng)帶寬配置問題。 考慮動(dòng)態(tài)電源管理的隨機(jī)型策略和超時(shí)策略的優(yōu)化問題，構(gòu)建事件驅(qū)動(dòng)的半Markov隨機(jī)切換模型，通過刻畫隨機(jī)環(huán)境中動(dòng)態(tài)電源管理系統(tǒng)所表現(xiàn)出的典型的層次化動(dòng)態(tài)，對(duì)實(shí)時(shí)系統(tǒng)的動(dòng)態(tài)提供了精確的描述。對(duì)應(yīng)于隨機(jī)型策略和超時(shí)策略，提出了兩種在線自適應(yīng)優(yōu)化算法，充分利用事件驅(qū)動(dòng)的策略特性及系統(tǒng)的層次化動(dòng)態(tài)結(jié)構(gòu)信息，實(shí)現(xiàn)了實(shí)際應(yīng)用對(duì)算法的自適應(yīng)性、計(jì)算實(shí)時(shí)性和有效性的需求。通過

9、分析在隨機(jī)型策略和超時(shí)策略控制下動(dòng)態(tài)電源管理系統(tǒng)的穩(wěn)態(tài)特性，揭示了這兩種類型的電源管理策略在性能與功耗均衡上的等效性，推導(dǎo)出二者之間的等效關(guān)系。 針對(duì)新一代網(wǎng)絡(luò)媒體服務(wù)系統(tǒng)采用分層控制機(jī)制的特點(diǎn)，提出了一個(gè)三層級(jí)的半Markov切換空間控制過程的系統(tǒng)分析模型，為自適應(yīng)資源部署、動(dòng)態(tài)服務(wù)組合和用戶請(qǐng)求調(diào)度提供了一個(gè)綜合的性能分析和策略優(yōu)化框架。提出一種基于動(dòng)態(tài)文件分組的流媒體服務(wù)器集群負(fù)載均衡策略，充分利用流化服務(wù)器的緩存來緩解存