云計算中分布式JobTracker節(jié)點模型的建立與優(yōu)化.pdf

1、云計算是隨著大規(guī)模計算機、個人計算機、互聯(lián)網(wǎng)的發(fā)展而產(chǎn)生的第四次 IT產(chǎn)業(yè)革命，谷歌首先定義并發(fā)展了云計算。而云計算的開源模型Hadoop是一種基于Java的通過運行可分布式的密集型應(yīng)用來分析和處理大數(shù)據(jù)的開源分布式計算平臺，其中的單點問題造成了Hadoop的性能瓶頸。針對存儲模型架構(gòu)HDFS中的namenode節(jié)點的單節(jié)點優(yōu)化，Hadoop2.0提出了多節(jié)點高可用性方案，但是針對JobTracker節(jié)點的單節(jié)點優(yōu)化并沒有給出相應(yīng)的解決

2、辦法。本文期望通過建立分布式 JobTracker節(jié)點模型來改善傳統(tǒng)的計算模型架構(gòu)中的單 JobTracker節(jié)點故障，從而能夠自動避免單JobTracker節(jié)點故障導(dǎo)致的作業(yè)運行失敗。
　　本文的主要工作內(nèi)容及貢獻如下：
　　在充分分析了前人對單 JobTracker節(jié)點模型的改進和對調(diào)度算法與負(fù)載均衡算法的調(diào)優(yōu)。首先通過對最短路徑算法Dijkstra算法、網(wǎng)頁權(quán)值判斷算法PageRank算法和網(wǎng)頁去重算法Bloom Fl

3、iter算法的研究，建立了分布式JobTracker節(jié)點模型，并通過Dijkstra算法對分布式JobTracker節(jié)點模型中多對多節(jié)點間的通信方式進行了優(yōu)化，以期望多節(jié)點模型下的多個 JobTracker節(jié)點和任務(wù)節(jié)點間能夠均衡的進行通信；其次基于PageRank算法對作業(yè)的調(diào)度方式進行了優(yōu)化；最后進一步通過Counting Bloom Filter算法改進各個節(jié)點上任務(wù)的復(fù)本數(shù)，從而對分布式JobTracker模型中節(jié)點的負(fù)載進行了

4、優(yōu)化。本文在分析完分布式 JobTracker節(jié)點模型的通信方式及其相關(guān)的調(diào)度優(yōu)化后，搭建了小型Hadoop實驗集群對結(jié)果進行了實驗驗證。
　　由實驗結(jié)果可以看出，單 JobTracker節(jié)點模型與分布式 JobTracker節(jié)點模型相比，在集群發(fā)生宕機時，分布式JobTrackder節(jié)點模型具有更高的可靠性，基于Dijkstra算法的通信方式能夠更快速的選出JobTracker節(jié)點；對于改進的作業(yè)調(diào)度算法，在提交的作業(yè)具有依賴關(guān)

5、系時，基于PageRank的改進算法能夠更進一步的提高作業(yè)的整體處理時間；對于改進的負(fù)載均衡算法，從副本的存儲負(fù)載角度對集群的負(fù)載進行了優(yōu)化，從而提高了重復(fù)數(shù)據(jù)副本存儲空間利用率。實驗最后對集群的綜合性能進行了對比，由實驗結(jié)果可以看出，分布式 JobTracker節(jié)點模型下的優(yōu)化由于主要是針對特定作業(yè)的優(yōu)化與改進，處理作業(yè)的綜合性能并不如原有集群高，但是當(dāng)集群發(fā)生 JobTracker節(jié)點宕機時，提高了集群的安全可靠性，并針對特殊場景的