文件分發(fā)系統(tǒng)的資源分配策略.pdf

1、文件分發(fā)系統(tǒng)是互聯(lián)網(wǎng)中信息傳播的重要平臺(tái)，由于網(wǎng)絡(luò)帶寬、存儲(chǔ)等資源有限，隨著用戶(hù)數(shù)和業(yè)務(wù)量的日益增加，系統(tǒng)資源緊缺與用戶(hù)需求之間的矛盾日益突出。這些矛盾不僅影響了服務(wù)質(zhì)量，增加了系統(tǒng)成本，也嚴(yán)重制約了網(wǎng)絡(luò)業(yè)務(wù)的演進(jìn)與擴(kuò)展。本文對(duì)大規(guī)模文件分發(fā)系統(tǒng)（PPTV和QQ旋風(fēng)）的文件下載數(shù)據(jù)和用戶(hù)上下線數(shù)據(jù)進(jìn)行了分析，發(fā)現(xiàn)由副本和帶寬分配不合理導(dǎo)致的資源不足、由瞬時(shí)擁塞(Flash crowd)引起的資源匱乏和由用戶(hù)動(dòng)蕩(churn)引發(fā)的資源浪

2、費(fèi)等問(wèn)題已經(jīng)異常嚴(yán)重，成為亟需解決的瓶頸問(wèn)題。本文針對(duì)這些問(wèn)題分別建立了理論模型，并且設(shè)計(jì)了相應(yīng)的資源分配策略，主要工作和創(chuàng)新點(diǎn)如下:
　　(1)在對(duì)文件分發(fā)系統(tǒng)用戶(hù)上下線數(shù)據(jù)的分析中，發(fā)現(xiàn)了用戶(hù)在線時(shí)長(zhǎng)與用戶(hù)上線時(shí)刻相關(guān)，通過(guò)仿真證明了只有將二者聯(lián)合才能刻畫(huà)出用戶(hù)churn的日周期規(guī)律。并且建立了動(dòng)態(tài)離開(kāi)概率模型，合理解釋了這一相關(guān)性。
　　(2)針對(duì)穩(wěn)定狀態(tài)的文件分發(fā)系統(tǒng)中資源分配與文件下載請(qǐng)求量不匹配的問(wèn)題，設(shè)計(jì)了副本

3、和帶寬分配算法。首先綜合考慮文件下載請(qǐng)求量均值和方差的影響，從公平性的角度建立了最優(yōu)副本數(shù)分配的目標(biāo)函數(shù)并求解得到了分配算法，使得每個(gè)文件的資源與下載請(qǐng)求量之比盡量一致。仿真結(jié)果表明下載請(qǐng)求量的均值和方差大小相當(dāng)時(shí)，算法的公平性比傳統(tǒng)的按比例分配方式高出50％，方差更大時(shí)，可高出約87％。然后提出了副本放置策略的評(píng)判標(biāo)準(zhǔn)，發(fā)現(xiàn)混合放置流行文件和不流行文件可增大帶寬利用率并且減少帶寬爭(zhēng)搶?zhuān)怯袚p文件的公平性。最后以保證文件公平性為目標(biāo)，

4、提出了三種用戶(hù)上傳帶寬分配算法，包括最優(yōu)分配算法、集中式啟發(fā)算法以及分布式啟發(fā)算法。仿真結(jié)果證明分布式算法的公平性比目前廣泛應(yīng)用的平均分配算法高75％，而集中式算法的公平性更是接近于理論最優(yōu)值。
　　(3)針對(duì)Flash crowd發(fā)生時(shí)文件分發(fā)系統(tǒng)服務(wù)器帶寬消耗大的問(wèn)題，提出了節(jié)點(diǎn)協(xié)助的預(yù)先副本分配策略。首先基于流體(Fluid)模型，得到了服務(wù)器所需帶寬與用戶(hù)到達(dá)速率、離開(kāi)概率和下載速率之間的關(guān)系表達(dá)式，發(fā)現(xiàn)了服務(wù)器帶寬峰值的

5、產(chǎn)生是由于系統(tǒng)穩(wěn)定前缺少足夠的種子節(jié)點(diǎn)。然后提出了預(yù)先分配策略，將文件副本在正式發(fā)布之前分配給協(xié)助節(jié)點(diǎn)，以恰當(dāng)?shù)卦黾覨lash crowd時(shí)的種子節(jié)點(diǎn)數(shù)，緩解服務(wù)器的峰值帶寬消耗。策略將系統(tǒng)穩(wěn)定后的所需帶寬設(shè)為目標(biāo)峰值帶寬，設(shè)計(jì)協(xié)助節(jié)點(diǎn)到達(dá)速率、任務(wù)開(kāi)始結(jié)束時(shí)刻等參數(shù)。數(shù)值仿真及實(shí)際系統(tǒng)中的測(cè)試均表明，策略可以顯著減少超過(guò)30％的服務(wù)器峰值帶寬。
　　(4)針對(duì)用戶(hù)churn導(dǎo)致預(yù)約型云下載系統(tǒng)的存儲(chǔ)資源利用率低的問(wèn)題，提出了動(dòng)態(tài)