基于多參數(shù)的文件存儲(chǔ)分配算法研究.pdf

1、伴隨著流媒體和網(wǎng)絡(luò)技術(shù)的飛速進(jìn)步，采用高性能集群搭建的視頻點(diǎn)播服務(wù)系統(tǒng)正在快速發(fā)展，海量數(shù)據(jù)處理是其在實(shí)際應(yīng)用中的主要任務(wù)，無(wú)論是影片的傳輸、存儲(chǔ)還是處理都涉及到TB級(jí)的數(shù)據(jù)吞吐量。因而一種流媒體系統(tǒng)專用的優(yōu)化分配算法可以提高系統(tǒng)的響應(yīng)能力，改善目前普遍存在的I/O瓶頸現(xiàn)象。
　　 專用存儲(chǔ)分配算法應(yīng)充分發(fā)掘流媒體系統(tǒng)特性，其核心目標(biāo)是通過(guò)將大量的影片文件組以某種規(guī)則進(jìn)行分劃，然后存儲(chǔ)到相應(yīng)的磁盤上，使整個(gè)存儲(chǔ)系統(tǒng)中各磁盤在I/

2、O負(fù)載上呈均勻分布，獲得很好的并發(fā)處理能力。文件存儲(chǔ)分配算法的研究一直以來(lái)都是熱點(diǎn)問(wèn)題也是難點(diǎn)問(wèn)題，目前已經(jīng)提出的大部分算法都存在僅適用于小規(guī)模數(shù)據(jù)量或者僅考慮到部分系統(tǒng)特征的局限性，不能達(dá)到實(shí)際環(huán)境中的性能要求。
　　 針對(duì)上述問(wèn)題本論文提出了基于特征加權(quán)和的偏移補(bǔ)償算法進(jìn)行以下改進(jìn)：
　　 首先，為了適應(yīng)海量數(shù)據(jù)處理的實(shí)際要求，建立高性能集群和存儲(chǔ)硬盤集合的拓?fù)淠Ｐ筒⑻岢龈髯酉到y(tǒng)的具體定義，通過(guò)在整個(gè)存儲(chǔ)系統(tǒng)的前端加

3、入統(tǒng)一的存儲(chǔ)調(diào)度器，可利用半同步半異步的模式使指定目標(biāo)磁盤和實(shí)際存儲(chǔ)數(shù)據(jù)的工作互相分離，使服務(wù)器、調(diào)度器和存儲(chǔ)設(shè)備各司其職，提高并行服務(wù)能力。
　　 然后，通過(guò)對(duì)模型的進(jìn)一步分析，抽取出能夠表征系統(tǒng)存儲(chǔ)操作過(guò)程特性的決策變量和約束條件。根據(jù)多目標(biāo)問(wèn)題的求解方法，得到一個(gè)綜合各變量和條件的評(píng)價(jià)函數(shù)，使用該函數(shù)對(duì)文件進(jìn)行評(píng)估，存儲(chǔ)調(diào)度器則根據(jù)不同文件的評(píng)估值進(jìn)行偏移補(bǔ)償?shù)姆绞絹?lái)選擇它們所對(duì)應(yīng)的目標(biāo)磁盤，進(jìn)而達(dá)到優(yōu)化文件在磁盤上存儲(chǔ)結(jié)

4、構(gòu)的目的。
　　 接下來(lái)，為了尋找目標(biāo)函數(shù)中各個(gè)變量的加權(quán)系數(shù)的優(yōu)化配比方案，本文中采用了預(yù)先偏好選擇的策略，即對(duì)多種可能的系數(shù)組合進(jìn)行反復(fù)嘗試。通過(guò)設(shè)定、多組典型的配比數(shù)值方案，代入目標(biāo)函數(shù)對(duì)文件評(píng)估，依靠仿真實(shí)驗(yàn)來(lái)模擬各個(gè)決策變量在磁盤上的分配結(jié)果，分析擬合曲線走向可以近似得到最優(yōu)系數(shù)配比。
　　 最后，為了驗(yàn)證偏移補(bǔ)償算法是否更具優(yōu)勢(shì)，選擇了輪詢、隨機(jī)、容量均分等幾種算法作為性能參照。在完全相同的仿真實(shí)驗(yàn)條件下，使