混合存儲下的MapReduce啟發(fā)式多表連接優(yōu)化研究與實現(xiàn).pdf

1、并行分布式編程框架 MapReduce因其良好的可擴展性、高可用性以及高可靠性成為當前最流行的海量數(shù)據(jù)處理理論框架，得到了廣泛的關(guān)注和應(yīng)用。然而，由于其自身框架的限制，使得它在執(zhí)行多表連接查詢時效率非常低，因此提高多表連接執(zhí)行效率成為MapReduce上亟待解決的問題。
　　本文首先闡述了MapReduce下多表連接查詢優(yōu)化的重要意義，并對MapReduce編程框架及國內(nèi)外MapReduce上的連接算法和多表連接優(yōu)化的現(xiàn)狀進行了分

2、析。在詳細研究了MapReduce上現(xiàn)有的三種多表連接方法-多個兩兩連接、Replicated Join、分組連接(Grouping Join)的設(shè)計思路和不足的基礎(chǔ)上，提出了一種新的MapReduce多表連接優(yōu)化策略，為不同的多表連接模型自適應(yīng)的推薦不同的連接優(yōu)化策略，旨在消耗代價最小的同時生成一個較優(yōu)的多表連接執(zhí)行計劃。特別的，對于混合連接，為了獲得分組后的最優(yōu)執(zhí)行計劃，本文制定了自己的代價估計模型。此外，在上述的優(yōu)化策略下，為了獲

3、得更高的多表連接優(yōu)化效率，本文在以下兩個方面做了進一步優(yōu)化：一是使用了實時優(yōu)化的思想，實時確定多表連接順序與連接算法，使得準確度更高；二是采用了新型的基于Page頁的行列混合PageFile存儲，在避免全表掃描的同時避免了全列掃描。
　　在此基礎(chǔ)上，本文對上述提出的多表連接優(yōu)化策略進行了詳細的算法設(shè)計和實現(xiàn)，主要包括以下部分：啟發(fā)式多表連接優(yōu)化模塊、混合連接優(yōu)化模塊、代價估計模型、實時優(yōu)化模型。
　　最后，在搭建的物理Had