基于數(shù)據(jù)關(guān)聯(lián)性聚類(lèi)的數(shù)據(jù)布局算法.pdf

1、隨著云計(jì)算的迅猛發(fā)展,海量的數(shù)據(jù)被集中到云服務(wù)器上,為用戶(hù)提供存儲(chǔ)、檢索、計(jì)算等遠(yuǎn)程應(yīng)用服務(wù)。在云服務(wù)器上,海量數(shù)據(jù)的存取操作往往是性能瓶頸,所以設(shè)計(jì)并優(yōu)化數(shù)據(jù)布局算法,以提升存儲(chǔ)器利用率和數(shù)據(jù)訪問(wèn)速度,是云計(jì)算的一個(gè)重要研究課題?？紤]到海量數(shù)據(jù)的爆炸式發(fā)展和防災(zāi)的安全需求,使得數(shù)據(jù)不可能只集中于一個(gè)數(shù)據(jù)中心,所以數(shù)據(jù)布局算法不僅要研究在同一個(gè)數(shù)據(jù)中心的本地服務(wù)器集群中的分配問(wèn)題,還要研究跨數(shù)據(jù)中心的數(shù)據(jù)布局,以及跨數(shù)據(jù)中心數(shù)據(jù)訪問(wèn)業(yè)務(wù)

2、的效率問(wèn)題。前一個(gè)可看成是戰(zhàn)術(shù)層面的數(shù)據(jù)布局優(yōu)化,后一個(gè)可看成是戰(zhàn)略層面的數(shù)據(jù)布局優(yōu)化,本文主要針對(duì)后一個(gè)戰(zhàn)略層面問(wèn)題,設(shè)計(jì)了相應(yīng)的數(shù)據(jù)布局算法。論文的主要工作如下:
　　(1)設(shè)計(jì)了一個(gè)基于數(shù)據(jù)關(guān)聯(lián)性聚類(lèi)的數(shù)據(jù)布局算法(DPBDD Data Placement Based On Data Dependence)。云服務(wù)器上的眾多應(yīng)用往往會(huì)使用多種來(lái)源的數(shù)據(jù),也會(huì)相互之間共享某一類(lèi)數(shù)據(jù),這種應(yīng)用與數(shù)據(jù)之間的多對(duì)多關(guān)系導(dǎo)致了數(shù)據(jù)之間

3、存在復(fù)雜的關(guān)聯(lián)性?，F(xiàn)有的只考慮數(shù)據(jù)中心負(fù)載均衡的數(shù)據(jù)布局算法不考慮數(shù)據(jù)之間的關(guān)聯(lián)性,當(dāng)執(zhí)行某個(gè)跨數(shù)據(jù)中心的應(yīng)用時(shí),往往會(huì)產(chǎn)生大量的數(shù)據(jù)遷移,降低數(shù)據(jù)訪問(wèn)的效率。本文首先定義了不可被分割執(zhí)行的元應(yīng)用,同一個(gè)元應(yīng)用所使用的數(shù)據(jù)單元被認(rèn)為是有關(guān)聯(lián)的,從而建立數(shù)據(jù)關(guān)聯(lián)矩陣,再通過(guò)運(yùn)用BEA算法對(duì)數(shù)據(jù)關(guān)聯(lián)矩陣進(jìn)行變換得到聚類(lèi)關(guān)聯(lián)矩陣,使得關(guān)聯(lián)度高的數(shù)據(jù)在矩陣中排列得比較靠近,然后通過(guò)分割聚類(lèi)關(guān)聯(lián)矩陣把數(shù)據(jù)類(lèi)分配給各個(gè)數(shù)據(jù)中心。通過(guò)仿真實(shí)驗(yàn),與一致

4、hash算法和基于數(shù)據(jù)中心容量聚類(lèi)的布局算法進(jìn)行了比較,結(jié)果表明DPBDD算法在數(shù)據(jù)遷移量指標(biāo)上明顯改善。
　　(2)考慮到增量數(shù)據(jù)的布局問(wèn)題,基于K-means算法設(shè)計(jì)了一個(gè)DPBDD-k算法。云服務(wù)器上的海量數(shù)據(jù)始終在高速增長(zhǎng),DPBDD算法適合用于云系統(tǒng)的初始靜態(tài)規(guī)劃和結(jié)構(gòu)性升級(jí)規(guī)劃,云系統(tǒng)運(yùn)行時(shí)的動(dòng)態(tài)規(guī)劃則必須研究如何將新增數(shù)據(jù)合理的布局到各個(gè)數(shù)據(jù)中心。DPBDD-k算法以DPBDD算法得到的k個(gè)分類(lèi)作為K-means算法