基于Spark的SQL連接優(yōu)化研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展及IT技術(shù)的快速進(jìn)步，各行各業(yè)的數(shù)據(jù)量都在高速增長，為了更好地分析和利用大數(shù)據(jù)，大數(shù)據(jù)平臺應(yīng)運而生。Hadoop平臺能夠完成一般的大數(shù)據(jù)分析和處理，但是隨著信息量的爆發(fā)式增長及人們對實時性要求的提高，其性能已經(jīng)不足以應(yīng)對大數(shù)據(jù)時代的需求。Spark作為一種新型的分布式處理平臺，正在逐步得到關(guān)注和應(yīng)用。
　　Spark SQL是Spark中對結(jié)構(gòu)化數(shù)據(jù)的處理模塊，也是Spark的核心部分，由于Spark SQL中

2、的表連接操作Spark Join性能較低而嚴(yán)重影響了Spark的整體性能。因此，論文對Spark SQL進(jìn)行了連接優(yōu)化方面的研究工作。
　　首先，論文在吸取其他研究者的優(yōu)秀策略以及Spark自身提供的Broadcast Join、Hash Join基礎(chǔ)上，針對Spark的大表等值連接操作提出了一種基于Compressed Bloom Filter的Spark Join優(yōu)化方案CBF Join，該方案主要思想是預(yù)先過濾掉表中大部分不

3、符合連接條件的記錄，降低連接過程中的Shuffle數(shù)據(jù)量，從而提高大表等值連接的性能。
　　其次，論文在分析第一種優(yōu)化方法的局限性后，針對待連接數(shù)據(jù)表的數(shù)據(jù)量大小未知的場景，提出了一種基于Split Bloom Filter的Spark Join優(yōu)化方案SBF Join，該方案采用動態(tài)生成位數(shù)組的方法，彌補了CBF Join的不足。
　　再次，論文對數(shù)據(jù)傾斜導(dǎo)致Spark Join性能下降的情況進(jìn)行了研究，提出了數(shù)據(jù)傾斜場景

4、下Spark Join的優(yōu)化方案Skew Join，該方案通過直方圖來預(yù)先確定產(chǎn)生數(shù)據(jù)傾斜的連接屬性，將其與普通連接屬性分別處理，從而減少連接階段耗時，提升大表間等值連接效率。
　　最后，論文以四組實驗來驗證上述研究成果，通過Shuffle階段的數(shù)據(jù)量以及運行時間的比較，驗證了Spark分布式計算框架的性能要優(yōu)于Hadoop分布式計算框架;本文提出的CBF Join方法在普通場景中的性能優(yōu)于Spark的Hash Join;SBF