Hadoop資源管理模塊接口移植技術(shù)研究與實現(xiàn).pdf

1、在分布式系統(tǒng)、大數(shù)據(jù)平臺成為IT技術(shù)十分重要技術(shù)的時代，建立一個具有良好的健壯性與可擴展性的分布式系統(tǒng)框架平臺將是加速分布式系統(tǒng)與大數(shù)據(jù)領(lǐng)域逐步走向多元化與高可集成化的一個重要途徑，Hadoop分布式系統(tǒng)平臺是目前大數(shù)據(jù)以及云計算領(lǐng)域使用廣泛且具有很強的潛力的一個分布式系統(tǒng)。但是在如今分布式系統(tǒng)架構(gòu)的多元化的現(xiàn)狀下，作為受關(guān)注度以及使用最為廣泛的Hadoop系統(tǒng)，如果在提高自身性能的同時，又能夠提供與其他分布式系統(tǒng)之間更好的兼容性是一個

2、新穎又實用的課題。
　　Hadoop版本升級之后提出了新的模塊YARN資源管理器，針對IBM內(nèi)部現(xiàn)有的相類似的資源管理模塊EGO，IBM內(nèi)部提出期望將Hadoop YARN模塊的應(yīng)用程序接口(Application Programming Interface，API)移植到EGO模塊之上。但是現(xiàn)存的問題是YARN資源管理模塊的API無法直接移植匹配到EGO之上。原因是兩個模塊之間存在很大的異構(gòu)性，YARN模塊采用JAVA語言開發(fā)，

3、而EGO模塊則采用C語言開發(fā)。另外兩個系統(tǒng)對于結(jié)構(gòu)化數(shù)據(jù)的定義有著很大的不同，在進(jìn)行API匹配的過程時這也是需要解決的問題。本文主要包括以下幾個方面的工作。
　　1.本文首先需要針對現(xiàn)存的兩個系統(tǒng)模塊(YARN模塊以及EGO模塊)進(jìn)行分析，其中主要分析到API具體內(nèi)容，模塊的具體功能，本文后面的具體工程內(nèi)容是建立在針對YARN模塊API，以及YARN模塊本身架構(gòu)詳細(xì)的分析下來完成的。尋找出Hadoop YARN模塊無論在對外暴露的

4、API，以及其內(nèi)部各模塊的接口的工作原理。并且針對第三方模塊的特性，將Hadoop資源管理模塊API以及與第三方模塊相類似的模塊接口遷移到第三方模塊之上。
　　2.基于對Hadoop YARN模塊源碼詳細(xì)的分析，需要提出Hadoop YARN模塊API如果進(jìn)行移植工作所面臨的問題，以及為何無法直接照搬移植的原因。針對其中存在的問題，提出需要利用的技術(shù)以及給出一定的解決方案。通過該方案完成移植工作，將Hadoop YARN模塊的AP

5、I移植到EGO模塊之上，完成YARN模塊之上的應(yīng)用運行在EGO模塊之上。
　　3.對YARN模塊API與EGO模塊進(jìn)行集成測試，通過對移植的API進(jìn)行單元測試，并且通過YARN模塊API與EGO進(jìn)行測試給出測試結(jié)果并提出仍然存在的問題，并給出未來的解決方案。
　　最后對于未來工作的展望，本文雖然對于Hadoop YARN模塊的API進(jìn)行移植工作，移植到EGO模塊之上，并且測試通過將利用YARN模塊API編寫的應(yīng)用運行在EGO