基于BSP模型的圖計(jì)算預(yù)處理研究.pdf

1、隨著以互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)為標(biāo)志的信息技術(shù)的飛速發(fā)展，信息數(shù)據(jù)量呈爆炸式增長(zhǎng)，大數(shù)據(jù)處理技術(shù)得到了越來越廣泛的應(yīng)用，分布式圖計(jì)算也在社交網(wǎng)絡(luò)、電子商務(wù)、推薦系統(tǒng)等領(lǐng)域有著重要的實(shí)際應(yīng)用。Hadoop因其良好的可靠性與擴(kuò)展性，成為了構(gòu)建大數(shù)據(jù)生態(tài)系統(tǒng)的核心組件。Hadoop在圖計(jì)算、機(jī)器學(xué)習(xí)等需要大量迭代式計(jì)算方面表現(xiàn)差勁，無法滿足大規(guī)模的圖計(jì)算需求，而基于BSP模型的圖計(jì)算框架彌補(bǔ)了Hadoop的不足。Apache Hama是一個(gè)

2、基于BSP模型的圖并行計(jì)算框架，因其發(fā)展時(shí)間短，圖計(jì)算預(yù)處理技術(shù)還需要改進(jìn)。Hama的預(yù)處理流程無法滿足規(guī)模龐大、結(jié)構(gòu)復(fù)雜的圖數(shù)據(jù)處理。Hama預(yù)處理流程中未對(duì)圖數(shù)據(jù)進(jìn)行均衡操作，數(shù)據(jù)分片機(jī)制存在缺陷。
　　本文的目的是提出一種基于BSP模型的圖計(jì)算預(yù)處理技術(shù)，彌補(bǔ)Hama預(yù)處理技術(shù)的缺點(diǎn)，改進(jìn)預(yù)處理流程中的數(shù)據(jù)分片技術(shù)，提高集群資源的利用率，使得圖預(yù)處理適應(yīng)多種應(yīng)用場(chǎng)景的需要。本文的主要工作與貢獻(xiàn)如下所示：
　　本文深入分

3、析了現(xiàn)今主流的分布式圖計(jì)算框架及其發(fā)展趨勢(shì)，重點(diǎn)研究了Hadoop與Hama框架，分析介紹了Hama與Hadoop中使用到的HDFS與MapReduce的架構(gòu)與工作原理。文中對(duì)Hadoop與Hama的圖計(jì)算預(yù)處理流程進(jìn)行深入對(duì)比，介紹了圖預(yù)處理流程中的數(shù)據(jù)分片機(jī)制的不同，同時(shí)分析了Hadoop與Hama圖計(jì)算預(yù)處理流程中數(shù)據(jù)分片技術(shù)存在的缺陷。
　　在上述研究成果的基礎(chǔ)上，提出了一種基于BSP模型的圖計(jì)算預(yù)處理技術(shù)，詳細(xì)介紹了預(yù)處