基于大數(shù)據(jù)的Hadoop并行計(jì)算優(yōu)化處理性能分析.pdf

1、隨著近年來(lái)新一代移動(dòng)通信、物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)的發(fā)展和普及，數(shù)據(jù)流量呈現(xiàn)爆發(fā)式增長(zhǎng)，原有通信系統(tǒng)中的數(shù)據(jù)處理壓力增大。而分布式計(jì)算Hadoop中的MapReduce編程架構(gòu)憑借其強(qiáng)大的數(shù)據(jù)處理能力已經(jīng)在文本分析、自然語(yǔ)言處理、商業(yè)數(shù)據(jù)處理等領(lǐng)域內(nèi)成為比較成熟的解決方案，能夠滿足現(xiàn)階段通信領(lǐng)域的數(shù)據(jù)處理需求。但隨著數(shù)據(jù)量的進(jìn)一步增大、涉及的配置參數(shù)進(jìn)一步增加，配置參數(shù)優(yōu)化成為目前限制MapReduce性能的主要瓶頸。Hadoop配置涉

2、及了200多個(gè)參數(shù)，其中有約13左右會(huì)對(duì)運(yùn)行的作業(yè)產(chǎn)生較大的影響，這些參數(shù)恰恰決定了集群整體的性能表現(xiàn)。圍繞上述問(wèn)題，本文以性能調(diào)優(yōu)為基礎(chǔ)，設(shè)計(jì)一種新型的參數(shù)配置分析系統(tǒng)，能夠針對(duì)每一個(gè)作業(yè)得到相應(yīng)的最優(yōu)化的參數(shù)配置。
　　本文在原有MapReduce框架的基礎(chǔ)上提出了三個(gè)新的邏輯部件：參數(shù)分析器、參數(shù)判決引擎、基于代價(jià)的優(yōu)化模型。其中，參數(shù)分析器會(huì)在未修改的MapReduce程序中收集相關(guān)統(tǒng)計(jì)信息；參數(shù)判決引擎會(huì)對(duì)各個(gè)參數(shù)域進(jìn)行

3、細(xì)化的預(yù)測(cè)；基于代價(jià)的優(yōu)化模型則是在前兩者的基礎(chǔ)上將參數(shù)配置簡(jiǎn)單化，給出最優(yōu)化參數(shù)。上述三個(gè)部件綜合使用下，可以針對(duì)每一個(gè)作業(yè)給出最優(yōu)化的參數(shù)配置。
　　通過(guò)對(duì)MapReduce主要領(lǐng)域內(nèi)的典型應(yīng)用：詞頻統(tǒng)計(jì)、詞共現(xiàn)統(tǒng)計(jì)、排序進(jìn)行優(yōu)化后參數(shù)的綜合評(píng)估來(lái)驗(yàn)證本文提出的三個(gè)邏輯部件的有效性。經(jīng)過(guò)測(cè)試和驗(yàn)證，經(jīng)過(guò)本文所設(shè)計(jì)的三個(gè)邏輯部件得出的最優(yōu)化參數(shù)相比較經(jīng)驗(yàn)法則與默認(rèn)參數(shù)在解決 Hado o p服務(wù)器集群的性能瓶頸問(wèn)題上具有優(yōu)越性和