HAMA計算平臺的性能研究.pdf

1、分布式計算是一門計算機(jī)科學(xué)，它研究如何將計算非常復(fù)雜巨大的任務(wù)劃分為若干個計算量較小的任務(wù)進(jìn)行處理，然后把這些部分分配給許多計算機(jī)進(jìn)行處理，最后把這些計算結(jié)果整合到一起得到最終結(jié)果。分布式計算與并行計算有所區(qū)別，它要求處理的任務(wù)相互獨立，即使上一個任務(wù)的結(jié)果出現(xiàn)錯誤，也不會影響下一個任務(wù)的處理，同時對最終結(jié)果影響不大。因此，分布式計算對實時性要求不高，而且具有良好的容錯性。
　　分布式計算的多種優(yōu)勢吸引了大量的研發(fā)力量去開發(fā)分布式

2、文件系統(tǒng)，比較有影響力的分布式文件系統(tǒng)有Google的GFS、Apache的HDFS等，它們具有擅長處理大量數(shù)據(jù)的優(yōu)點。然而，Hadoop針對文件處理功能的大量優(yōu)化反而降低了其單純的計算能力。專門針對大規(guī)?？茖W(xué)計算的軟件框架避免了此類問題，比較成熟的有Google圖算法引擎Pregel、Apache的HAMA等。
　　HAMA是建立在Hadoop上的分布式并行計算模型，它基于MapReduce和BSP(Bulk Synchrono

3、us Paralle塊同步并行)的實現(xiàn)框架，運行環(huán)境需要關(guān)聯(lián)Zookeeper、HBase、HDFS組件。采用BSP計算技術(shù)最大的好處就是加快迭代速度，在最終輸出可用數(shù)據(jù)之前迭代過程需要傳遞消息若干次。
　　與傳統(tǒng)消息傳遞模型相比，HAMA提供一種簡易編程方法。它能通過簡單API為開發(fā)者和研究人員提供基礎(chǔ)平臺。此方法也適用于靈活編程模型和分布式存儲，比如HDFS、Hbase等，因此可以在現(xiàn)有的Hadoop集群上使用HAMA。

4、>　　本文分析了一些比較有影響力的分布式系統(tǒng)，通過對比各個系統(tǒng)的優(yōu)缺點，引出擅長大規(guī)模科學(xué)計算的編程框架HAMA。本文深入研究BSP模型和HAMA整體框架，將其與當(dāng)前廣泛應(yīng)用的Hadoop作對比，通過大量實驗數(shù)據(jù)分析HAMA和Hadoop的計算性能。為保證實驗的公平性，HAMA和Hadoop都在相同的實驗環(huán)境下運行，在HAMA和Hadoop上實現(xiàn)蒙特卡羅算法，除了Hadoop編程實現(xiàn)MapReduce接口與HAMA編程實現(xiàn)BSP模型接口