云協(xié)助文件共享與發(fā)布系統(tǒng)優(yōu)化策略研究.pdf

1、隨著云技術(shù)的迅猛發(fā)展，基于云的網(wǎng)絡(luò)應(yīng)用極大豐富。擁有超大規(guī)模用戶群的P2P文件共享與發(fā)布應(yīng)用如文件下載、流媒體和在線游戲發(fā)布等，也開始向云平臺遷移，形成了云協(xié)助文件共享與發(fā)布系統(tǒng)。P2P模式與云服務(wù)模式的結(jié)合，賦予了文件共享與發(fā)布系統(tǒng)眾多新特性，例如，可周期性改變系統(tǒng)的云帶寬租用量，提供下載預(yù)約功能，為用戶下載過程同時提供節(jié)點輔助和云協(xié)助兩種加速方式，可短期租用云資源以應(yīng)對新資源發(fā)布初期瞬間激增的下載請求，等等。在新模式新特性的驅(qū)動下，

2、對文件共享與發(fā)布系統(tǒng)性能優(yōu)化及成本節(jié)約策略的研究，面臨著一系列亟待解決的問題：第一，P2P與云協(xié)助模式的結(jié)合，能否提升文件共享與發(fā)布系統(tǒng)的性能？系統(tǒng)需要承擔(dān)多大的云資源租用開銷？影響系統(tǒng)成本的關(guān)鍵因素有哪些？對大規(guī)模實用系統(tǒng)展開測量，以解答上述疑問，是云協(xié)助文件共享與發(fā)布系統(tǒng)優(yōu)化策略研究急需解決的問題;其次，云協(xié)助服務(wù)模式下的系統(tǒng)，每隔一段周期可以調(diào)整云帶寬的租用量，如何使租用量與系統(tǒng)實際的帶寬需求相匹配，從而在保障QoS的同時，降低云

3、資源消耗量，是系統(tǒng)優(yōu)化策略研究中的重要問題。第三，云協(xié)助服務(wù)模式支持下載預(yù)約功能，且為用戶的下載過程同時提供節(jié)點加速和云加速，如何基于此新特性，提出高效的網(wǎng)絡(luò)緩存策略，是系統(tǒng)優(yōu)化策略研究中的又一關(guān)鍵問題。第四，在熱門新資源發(fā)布初期，下載請求瞬間激增，這種flash erowd現(xiàn)象對云流量的消耗極大，如何基于短期租用云資源時的付費特征，提出云協(xié)助文件發(fā)布過程的成本節(jié)約策略，是系統(tǒng)優(yōu)化策略研究的又一重要問題。此外，在云協(xié)助服務(wù)模式下，主要承

4、載文件共享與發(fā)布應(yīng)用的，實際上是分布式云平臺。如何結(jié)合主營業(yè)務(wù)的特性，研究云平臺的成本最小化部署問題，得出分布式云計算存儲資源的最優(yōu)部署位置及數(shù)量，也是系統(tǒng)性能優(yōu)化策略研究的關(guān)鍵問題，具有重要的學(xué)術(shù)價值和現(xiàn)實意義。
　　本研究主要內(nèi)容包括：⑴針對測量研究實用云協(xié)助文件共享與發(fā)布系統(tǒng)的工作較為匱乏這一問題，本文對其典型代表----QQ旋風(fēng)離線下載系統(tǒng)，展開大規(guī)模測量，根據(jù)系統(tǒng)的服務(wù)特性，設(shè)計了數(shù)據(jù)采集的主要參量。測量結(jié)果表明，云協(xié)助

5、模式解決了原有P2P系統(tǒng)無法保障文件可用性，以及無法保障用戶高速下載這兩大缺陷。分析結(jié)果還揭示了影響用戶下載過程云帶寬消耗量的關(guān)鍵因素。為系統(tǒng)優(yōu)化打下了基礎(chǔ)。⑵針對現(xiàn)有的服務(wù)器帶寬分配策略不適用于云帶寬租用量可變的服務(wù)模式這一問題，結(jié)合測量得出的下載過程云帶寬消耗量主要影響因素，即文件熱度、下載啟動時段和用戶網(wǎng)絡(luò)連接類型，本文提出了自適應(yīng)的云帶寬租用和分配策略。實驗結(jié)果表明，該策略在保障服務(wù)質(zhì)量的同時，大幅削減了離線下載系統(tǒng)的云帶寬消耗

6、量。⑶針對支持下載預(yù)約功能，以及同時提供節(jié)點加速和云加速的服務(wù)特性，本文研究了適用于云協(xié)助離線下載系統(tǒng)的網(wǎng)絡(luò)緩存方案，提出了在ISP域內(nèi)同時部署P2P超級節(jié)點和緩存云延伸節(jié)點的互補式緩存策略。P2P超級節(jié)點根據(jù)域內(nèi)P2P網(wǎng)絡(luò)中的文件緊缺程度決定緩存對象，以增強域內(nèi)P2P網(wǎng)絡(luò)的服務(wù)能力。緩存云延伸節(jié)點根據(jù)域內(nèi)用戶下載預(yù)約量決定緩存對象，且無需緩存P2P超級節(jié)點中已有的文件，以分擔(dān)域內(nèi)下載請求對云帶寬的需求量。部署后3個月的實際運營數(shù)據(jù)表明

7、，互補式緩存策略能夠?qū)崿F(xiàn)降低系統(tǒng)云帶寬消耗量、提升用戶下載速度、削減ISP跨域流量開銷的“三贏”目標(biāo)。⑷針對熱門文件發(fā)布初期。大規(guī)模flash crowd下系統(tǒng)的云資源租用開銷過大這一問題，本文首先建立了游戲發(fā)布系統(tǒng)的Fluid模型。并借助模型推導(dǎo)了系統(tǒng)的云資源占用時長和云流量開銷。然后通過示例分析，發(fā)現(xiàn)大小文件同時發(fā)布時，系統(tǒng)因無法充分利用用戶的上傳能力，導(dǎo)致云資源租用開銷遠高于理論下界。為此，我們提出了文件塊主動推送方案，把節(jié)點上傳

8、帶寬不足的文件分塊推送給有富余上傳能力的“幫忙節(jié)點”。最后我們求解最優(yōu)化問題得出了最優(yōu)推送策略，并通過效果評估，揭示了推送策略能使云資源租用開銷大幅降低且接近理論下界。⑸針對承載了眾多熱門網(wǎng)絡(luò)應(yīng)用的分布式云系統(tǒng)的成本最小化部署問題。本文在揭示了4類主要成本元素之后，基于不改變成本特性的抽象化系統(tǒng)結(jié)構(gòu)，建立了分布式云系統(tǒng)的通用成本模型。然后，針對主營應(yīng)用特性不同的三類典型云系統(tǒng)，分別構(gòu)建了最優(yōu)化問題，并相應(yīng)地求解得出了分布式計算存儲資源的