基于Hadoop的多表連接操作查詢優(yōu)化關(guān)鍵技術(shù)研究.pdf

1、隨著社會(huì)的發(fā)展，數(shù)據(jù)量不斷增大。但是如此大的數(shù)據(jù)并不都是有用的。因此從海量的數(shù)據(jù)中獲取有用的信息是非常關(guān)鍵的。從而導(dǎo)致了海量數(shù)據(jù)的分析處理受到越來(lái)越多的關(guān)注。
　　Map-Reduce框架是Google在2004年提出的分布式計(jì)算框架。Apache開發(fā)了Map-Reduce的開源實(shí)現(xiàn)Hadoop。連接操作是數(shù)據(jù)庫(kù)中的基本操作，應(yīng)用非常廣泛。在海量數(shù)據(jù)分析中對(duì)于單連接操作和多連接操作的應(yīng)用更是非常普遍的。并且隨著數(shù)據(jù)量的增大，海量數(shù)

2、據(jù)分析處理越來(lái)越重要，在Map-Reduce下的多表連接操作查詢優(yōu)化的研究是十分有意義的。
　　兩兩連接法在進(jìn)行多表連接中會(huì)產(chǎn)生大量的中間結(jié)果，這樣會(huì)產(chǎn)生成很大的I/O開銷，并且對(duì)分布式文件系統(tǒng)HDFS進(jìn)行多次的寫入和寫出。
　　Replicated Join法由于它在一個(gè)Map-Reduce上完成了這個(gè)多表連接操作，減少了磁盤I/O開銷，并且避免了對(duì)分布式文件系統(tǒng)HDFS進(jìn)行多次的寫入和寫出。但是由于Replicated

3、Join法需要把一條元組發(fā)送到多個(gè)Reduce端，當(dāng)多表連接操作的關(guān)系表的數(shù)量很多時(shí)，會(huì)導(dǎo)致大量的數(shù)據(jù)復(fù)制這樣會(huì)造成很大的網(wǎng)絡(luò)傳輸開銷。
　　因此本文提出了一個(gè)包含兩兩連接法和Replicated Join法的最優(yōu)執(zhí)行計(jì)劃。該方法可以包含兩兩連接法和Replicated Join法的優(yōu)點(diǎn)。在多表連接操作中，采用蟻群算法生成兩兩連接法的最優(yōu)執(zhí)行序列。采用蟻群算法可以盡量避免在尋找最優(yōu)執(zhí)行計(jì)劃時(shí)陷入局部最優(yōu)解。采用連接關(guān)系作為蟻群算法