基于MapReduce模型的并行計算平臺的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，每天由網(wǎng)絡產(chǎn)生的數(shù)據(jù)量越來越龐大?；ヂ?lián)網(wǎng)企業(yè)面對這些浩繁的數(shù)據(jù)，常常陷入“數(shù)據(jù)豐富，信息貧乏”的尷尬境地。設(shè)計一個通用可擴展的平臺，來有效地處理海量數(shù)據(jù)，不斷地從中挖掘出對運營商有價值的信息，成為互聯(lián)網(wǎng)企業(yè)發(fā)展的必然選擇。 MapReduce是由GooSe公司首先提出的，一種能在大型計算機集群上并發(fā)地處理海量數(shù)據(jù)的框架模型。使用者通過指定一個map函數(shù)將輸入數(shù)據(jù)轉(zhuǎn)化成為一系列中間鍵.值對，然后由一個自定義的

2、reduce函數(shù)將具有相同鍵的值聚集起來，將結(jié)果輸出。很多現(xiàn)實世界對海量數(shù)據(jù)的處理，都可以用這種模型來表示。 本文在分析MapReduce模型的基礎(chǔ)上，結(jié)合自身的特點，提出了一種并發(fā)處理海量數(shù)據(jù)的更通用、更可擴展的平臺。 首先，我們提出了海量數(shù)據(jù)并發(fā)處理平臺的體系結(jié)構(gòu)。該結(jié)構(gòu)為客戶端.任務調(diào)度與執(zhí)行層.數(shù)據(jù)存儲層三層架構(gòu)。在客戶端，通過可配置的XML文檔提交用戶任務。在進行任務調(diào)度與執(zhí)行層設(shè)計時，我們首先提出了幾點關(guān)鍵的

3、策略，如通用平臺策略、負載均衡策略、中間結(jié)果處理策略和容錯策略。接著，我們提出了主控節(jié)點.分派節(jié)點.服務節(jié)點的三點式架構(gòu)。其中，主控節(jié)點負責收集與處理其他節(jié)點的各種信息；分派節(jié)點負責解析、分派任務，獲取任務執(zhí)行結(jié)果；服務節(jié)點負責任務的具體執(zhí)行。三種節(jié)點互相配合，共同完成數(shù)據(jù)的并發(fā)處理。 接著，我們設(shè)計了存儲海量數(shù)據(jù)的分布式文件系統(tǒng)。分布式文件系統(tǒng)具有優(yōu)異的性能和吞吐率，較高的穩(wěn)定性和良好的可擴展性。 最后，我們在已經(jīng)搭建