基于代價(jià)模型的SparkSQL查詢優(yōu)化研究.pdf

1、近幾年，Spark作為下一代通用大數(shù)據(jù)計(jì)算平臺，因其高效的海量數(shù)據(jù)處理能力得到了越來越多企業(yè)和研究人員的關(guān)注。Spark SQL作為Spark上的結(jié)構(gòu)化數(shù)據(jù)查詢引擎被越來越多的企業(yè)、機(jī)構(gòu)用于分析他們積累的結(jié)構(gòu)化數(shù)據(jù)，從中挖掘有價(jià)值的信息。然而，相較于傳統(tǒng)的數(shù)據(jù)庫以及MapReduce類查詢引擎而言，Spark SQL仍然缺乏基于代價(jià)模型的查詢優(yōu)化手段。因此，本文借鑒數(shù)據(jù)庫領(lǐng)域以及MapReduce上的查詢優(yōu)化技術(shù)，結(jié)合Spark自身的特

2、點(diǎn)，提出了一個(gè)基于代價(jià)模型的查詢優(yōu)化原型，用以提高Spark SQL在關(guān)系查詢上的執(zhí)行效率。
　　本文研究的重點(diǎn)是根據(jù)Spark計(jì)算平臺自身的特點(diǎn)，提出一個(gè)基于代價(jià)模型的查詢優(yōu)化原型。相較于MapReduce類系統(tǒng)，Spark在計(jì)算過程中的中間結(jié)果可以緩存在內(nèi)存中，減少了磁盤的讀寫I/O消耗。本文針對關(guān)系查詢中常見的幾種操作——選擇、投影、分組聚合在Spark中的物理實(shí)現(xiàn)定義了代價(jià)模型。對等值連接的兩種在Spark中的物理實(shí)現(xiàn)Sh

3、uffle join和Broadcast join分別定義了成本模型。
　　在本論文中，對已有的數(shù)據(jù)庫領(lǐng)域的查詢優(yōu)化方法以及MapReduce類系統(tǒng)上的查詢優(yōu)化研究進(jìn)行了調(diào)研，對基于代價(jià)模型的查詢優(yōu)化方法進(jìn)行了深入的研究。為了能更準(zhǔn)確的估算查詢計(jì)劃的執(zhí)行代價(jià)，優(yōu)化器原型利用等深直方圖這一種商業(yè)數(shù)據(jù)庫常用的統(tǒng)計(jì)技術(shù)來獲得更準(zhǔn)確的中間結(jié)果估算。在等深直方圖的基礎(chǔ)上，定義了查詢中間結(jié)果大小的估算方法。根據(jù)中間結(jié)果的估算來選擇合適的表之間

4、的連接順序。在中間結(jié)果大小的基礎(chǔ)上，結(jié)合Spark系統(tǒng)的特點(diǎn)，給出了Spark上的代價(jià)模型。根據(jù)定義的代價(jià)模型對等價(jià)的物理查詢計(jì)劃進(jìn)行執(zhí)行代價(jià)估算，從中找出執(zhí)行代價(jià)最小的查詢計(jì)劃，提交給Spark計(jì)算引擎執(zhí)行，并向用戶返回最終結(jié)果。
　　最后，本文對提出的基于代價(jià)模型的優(yōu)化原型進(jìn)行了性能測試。設(shè)定了2種不同的集群狀態(tài)和4個(gè)不同的查詢?nèi)蝿?wù)。將未優(yōu)化的查詢時(shí)間與優(yōu)化后的查詢時(shí)間進(jìn)行對比。實(shí)驗(yàn)表明，與Spark SQL未優(yōu)化前相比，優(yōu)化