Hadoop容錯(cuò)能力測試平臺的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息系統(tǒng)中數(shù)據(jù)量的迅速增長,傳統(tǒng)的計(jì)算和存儲(chǔ)模式已經(jīng)不能滿足日益增長的數(shù)據(jù)處理和存儲(chǔ)需求。在早期分布式處理、并行處理以及網(wǎng)格計(jì)算技術(shù)的基礎(chǔ)之上發(fā)展而來的云計(jì)算技術(shù)成為目前炙手可熱的海量數(shù)據(jù)解決手段。但是,隨著云計(jì)算平臺的普及與推廣,可靠性成為它面臨的一項(xiàng)重大困難與挑戰(zhàn)。容錯(cuò)能力能夠從一個(gè)層面上反映出系統(tǒng)可靠性的高低。因此,評測云計(jì)算平臺的容錯(cuò)能力對其可靠性研究具有重要意義。
　　由于云計(jì)算平臺的復(fù)雜程度高、軟件規(guī)模大,使得云計(jì)

2、算平臺的容錯(cuò)能力評測成為一項(xiàng)艱巨的任務(wù)。目前針對云計(jì)算平臺測試已有的研究成果中,涉及容錯(cuò)能力評測的內(nèi)容較少并且測試方法較為單一,需要更加深入的研究與完善。
　　評測容錯(cuò)能力的最有效手段是基于故障注入思想的測試方法。本文以開源云計(jì)算平臺—Hadoop作為研究目標(biāo),深入研究Hadoop中核心組件的容錯(cuò)機(jī)制。基于現(xiàn)實(shí)應(yīng)用中可能出現(xiàn)的故障類型,結(jié)合Hadoop平臺的部署結(jié)構(gòu)以及運(yùn)行機(jī)制的特點(diǎn),提出了一種多層次的Hadoop容錯(cuò)能力測試框架

3、。從軟件健壯性測試、MapReduce故障注入測試、網(wǎng)絡(luò)故障注入測試和HDFS故障注入測試四個(gè)層次出發(fā),分別模擬了云計(jì)算平臺在應(yīng)用中可能出現(xiàn)的多種軟硬件異常。
　　依據(jù)Hadoop多層次容錯(cuò)能力測試框架,設(shè)計(jì)了針對Hadoop的容錯(cuò)能力評測平臺,實(shí)現(xiàn)了多種故障注入工具,形成了對Hadoop的軟件健壯性測試以及可能發(fā)生節(jié)點(diǎn)故障、網(wǎng)絡(luò)故障、硬盤故障等故障類型的容錯(cuò)能力測試的覆蓋。在故障注入過程中,監(jiān)控和回收云計(jì)算平臺對于故障的反饋信息

4、,進(jìn)行結(jié)果分析從而向研究人員提供真實(shí)可靠的評測結(jié)果,最終為云計(jì)算平臺的容錯(cuò)能力評測提供有力的數(shù)據(jù)支撐。
　　為了驗(yàn)證Hadoop容錯(cuò)能力評測方法的可行性,本文使用Hadoop搭建了一個(gè)小型的云計(jì)算平臺環(huán)境進(jìn)行實(shí)驗(yàn)。軟件健壯性測試發(fā)現(xiàn)了Hadoop接口和實(shí)現(xiàn)中存在的不足并進(jìn)行了缺陷定位。在測試環(huán)境中進(jìn)行的節(jié)點(diǎn)或進(jìn)程級失效故障、數(shù)據(jù)操作失效故障、數(shù)據(jù)校驗(yàn)故障、資源過載故障和網(wǎng)絡(luò)故障的注入測試有效地證明了各個(gè)故障注入工具的有效性。通過結(jié)