基于集群規(guī)模調(diào)整的節(jié)能存儲(chǔ)策略研究.pdf

1、隨著人類(lèi)社會(huì)的發(fā)展，社會(huì)的信息化程度越來(lái)越高，作為記錄信息載體的數(shù)據(jù)也隨之迅猛增長(zhǎng)，應(yīng)運(yùn)而生的大數(shù)據(jù)技術(shù)也越來(lái)越多的應(yīng)用到實(shí)際生活中方便人們的生活。大數(shù)據(jù)技術(shù)的應(yīng)用離不開(kāi)數(shù)據(jù)的存儲(chǔ)，而對(duì)于存儲(chǔ)大數(shù)據(jù)的集群，其能耗也是一個(gè)不容忽視的問(wèn)題。
　　本文通過(guò)對(duì)集群文件訪問(wèn)規(guī)律及集群服務(wù)器能耗規(guī)律的認(rèn)識(shí)，發(fā)現(xiàn)集群中普遍存在節(jié)點(diǎn)使用率低下的問(wèn)題。因此本文主要的研究?jī)?nèi)容是通過(guò)對(duì)集群規(guī)模進(jìn)行動(dòng)態(tài)調(diào)整來(lái)提高節(jié)點(diǎn)使用率，降低集群的能耗。
　　首

2、先本文結(jié)合傳統(tǒng)的靜態(tài)分區(qū)及動(dòng)態(tài)分區(qū)的優(yōu)點(diǎn)將集群劃分為三大區(qū)域。然后在此分區(qū)基礎(chǔ)上，針對(duì)集群規(guī)模動(dòng)態(tài)調(diào)整需要遷移大量的數(shù)據(jù)塊的問(wèn)題，提出了面向IO優(yōu)化的集群規(guī)模調(diào)整，可以通過(guò)盡可能少的數(shù)據(jù)塊遷移達(dá)到快速調(diào)整集群規(guī)模的目的。其次基于數(shù)據(jù)特征的分區(qū)存儲(chǔ)對(duì)集群中存在的冷，熱數(shù)據(jù)采取不同的存儲(chǔ)策略，針對(duì)于冷數(shù)據(jù)提出負(fù)載集中存儲(chǔ)策略，節(jié)省了存儲(chǔ)大量冷數(shù)據(jù)的服務(wù)資源。另外針對(duì)于廣泛采用的LRU算法對(duì)于偶發(fā)性的、周期性的批量訪問(wèn)會(huì)導(dǎo)致命中率急劇下降，本

3、文提出了雙因子淘汰緩存算法及對(duì)其進(jìn)行改進(jìn)，通過(guò)考慮文件訪問(wèn)次數(shù)和時(shí)間兩個(gè)因子提高了命中率。
　　為了驗(yàn)證本文提出的一系列的集群節(jié)能策略，本文開(kāi)發(fā)了模擬Hadoop運(yùn)行的集群仿真平臺(tái)，該仿真平臺(tái)分層的設(shè)計(jì)模式，對(duì)于新的節(jié)能策略，只需在策略層中編寫(xiě)相應(yīng)的策略函數(shù)編譯即可。該仿真平臺(tái)用戶(hù)可以自定義集群緩存策略，數(shù)據(jù)遷移策略，集群節(jié)能等一系列應(yīng)用于集群的仿真策略。
　　通過(guò)仿真實(shí)驗(yàn)結(jié)果表明：使用本文節(jié)能策略的 HDFS比傳統(tǒng) HDF