基于Mapreduce的恢復(fù)機(jī)制和任務(wù)調(diào)度算法的改進(jìn).pdf

1、隨著計(jì)算機(jī)技術(shù)和軟件技術(shù)的發(fā)展，云計(jì)算作為新的計(jì)算模型在短短的幾年間產(chǎn)生了巨大的影響力。Hadoop是一個(gè)支持開發(fā)和并行處理大規(guī)模數(shù)據(jù)的分布式云計(jì)算平臺(tái)，采用的是master/slave框架。在云計(jì)算集群中，master節(jié)點(diǎn)有時(shí)會(huì)發(fā)生異常而產(chǎn)生中斷，如何對(duì)master節(jié)點(diǎn)進(jìn)行恢復(fù)是業(yè)界所關(guān)注的一個(gè)熱點(diǎn)問題。另外，按照MapReduce工作機(jī)制，系統(tǒng)將一個(gè)任務(wù)分割成若干個(gè)子任務(wù)，并分配到不同的物理節(jié)點(diǎn)進(jìn)行處理。如何對(duì)這些子任務(wù)進(jìn)行調(diào)度也受

2、到了IT領(lǐng)域研究工作者的重視。本文在Hadoop的框架以及mapreduce運(yùn)行模型的環(huán)境下，依托智能計(jì)算的相關(guān)理論，分別對(duì)MapReduce恢復(fù)機(jī)制和工作調(diào)度問題進(jìn)行研究。具體內(nèi)容如下:
　　 對(duì)已有的MapReduce的歷史恢復(fù)機(jī)制、同步機(jī)制和丟棄機(jī)制中阻塞問題產(chǎn)生的過程和原因進(jìn)行了詳細(xì)的分析和總結(jié)，在此基礎(chǔ)上，綜合考慮存儲(chǔ)空間利用率和并行平臺(tái)的運(yùn)行效率，提出了一種新的機(jī)制。這種機(jī)制結(jié)合了歷史恢復(fù)機(jī)制、同步機(jī)制和丟棄機(jī)制的特

3、點(diǎn)，運(yùn)用備份進(jìn)行恢復(fù)，通過不攜帶信息的心跳獲得正在工作節(jié)點(diǎn)的列表，最后對(duì)沒有發(fā)送心跳的工作節(jié)點(diǎn)進(jìn)行關(guān)閉。實(shí)驗(yàn)結(jié)果表明，這種新的機(jī)制提高了Hadoop的性能和效率，減少了系統(tǒng)的恢復(fù)時(shí)間，降低了系統(tǒng)恢復(fù)產(chǎn)生異常的次數(shù)。
　　 在對(duì)Mapreduce模型進(jìn)行分析研究的基礎(chǔ)上，提出了基于雙適應(yīng)度的遺傳算法來解決Mapreduce的任務(wù)調(diào)度問題，該算法在執(zhí)行過程中不僅考慮了總?cè)蝿?wù)的完成時(shí)間，而且考慮到了完成時(shí)間方差這個(gè)重要的因素。實(shí)驗(yàn)證明