基于強(qiáng)化學(xué)習(xí)的Web服務(wù)組合優(yōu)化研究.pdf

1、Web服務(wù)作為部署在互聯(lián)網(wǎng)上的組件，展現(xiàn)出良好的封裝性、松耦合性和跨平臺(tái)性。然而單個(gè)Web服務(wù)的能力有限，不能向人們提供功能更全、更復(fù)雜的服務(wù)。為了減少開(kāi)發(fā)服務(wù)的費(fèi)用和時(shí)間，并實(shí)現(xiàn)服務(wù)的增值和重用，需要把已有的服務(wù)組合起來(lái)，形成滿足用戶需求的組合服務(wù)。在服務(wù)組合過(guò)程中，出現(xiàn)了大量功能相同的服務(wù)，利用服務(wù)質(zhì)量(Quality of Service，QoS)選擇服務(wù)成為了動(dòng)態(tài)服務(wù)組合研究領(lǐng)域的一個(gè)關(guān)鍵問(wèn)題。
　　 論文根據(jù)Web服務(wù)

2、組合的特點(diǎn)，以強(qiáng)化學(xué)習(xí)理論為基礎(chǔ)，研究Web服務(wù)組合優(yōu)化方法。一方面首先對(duì)現(xiàn)存各種服務(wù)組合方法進(jìn)行分析，并研究了Web服務(wù)的QoS 屬性，給出了QoS模型，然后依據(jù)此模型分別介紹了單個(gè)服務(wù)和組合服務(wù)的QoS 計(jì)算方法。已有的服務(wù)組合方法很少考慮Internet 環(huán)境的動(dòng)態(tài)性和Web服務(wù)的隨機(jī)性，在服務(wù)選擇過(guò)程中產(chǎn)生的是靜態(tài)規(guī)劃，從而在服務(wù)組合時(shí)以較大概率組合失敗。針對(duì)這個(gè)問(wèn)題，使用馬爾可夫決策過(guò)程(MarkovDecision Proc

3、ess，MDP)對(duì)服務(wù)組合（順序、并行結(jié)構(gòu)）進(jìn)行建模，并使用Q 學(xué)習(xí)算法對(duì)該問(wèn)題求解，得到最優(yōu)的服務(wù)組合策略。實(shí)驗(yàn)結(jié)果表明使用動(dòng)態(tài)的控制方法具有較高的服務(wù)組合成功率。
　　 另一方面，在服務(wù)組合過(guò)程中，響應(yīng)時(shí)間是一個(gè)重要的因素，在服務(wù)調(diào)用過(guò)程中會(huì)受到網(wǎng)絡(luò)負(fù)載和服務(wù)自身的影響。針對(duì)這個(gè)問(wèn)題，使用有限狀態(tài)連續(xù)時(shí)間半馬爾可夫決策過(guò)程(Semi-Markov Decision Process，SMDP)對(duì)服務(wù)組合建模，利用Q 學(xué)習(xí)算法求