基于MapReduce的查詢(xún)處理與優(yōu)化技術(shù)研究.pdf

1、近年來(lái)，隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)信息呈現(xiàn)“滾雪球”式的增長(zhǎng)。面對(duì)如此龐大的信息海洋，如何高效地處理和分析這些海量數(shù)據(jù)，并從中獲取用戶感興趣的信息已經(jīng)成為工業(yè)界和學(xué)術(shù)界共同關(guān)心的課題。關(guān)于海量數(shù)據(jù)的查詢(xún)處理與優(yōu)化技術(shù)也逐漸成為數(shù)據(jù)庫(kù)領(lǐng)域新的研究熱點(diǎn)，特別是在MapReduce框架下的查詢(xún)處理與優(yōu)化問(wèn)題更是受到了廣泛的關(guān)注，并且具有深遠(yuǎn)的理論研究意義和重要的實(shí)際應(yīng)用價(jià)值。
　　本文詳細(xì)而深入地分析和研究了Ma

2、pReduce框架下的海量數(shù)據(jù)查詢(xún)處理與優(yōu)化問(wèn)題，提升了MapReduce框架的處理能力，提高了top-k、kNN、Skyline、連接等查詢(xún)的處理性能。本文的貢獻(xiàn)點(diǎn)可概括如下：
　　(1)提出了一個(gè)具有輕量級(jí)通信功能的MapReduce框架-ComMapReduce，提高了現(xiàn)有MapReduce框架的處理性能。ComMapReduce框架通過(guò)增加輕量級(jí)的通信功能產(chǎn)生共享信息，通過(guò)獲取共享信息，ComMapReduce框架能夠有效

3、地過(guò)濾Map階段的無(wú)用數(shù)據(jù)，從而減少Reduce階段的輸入數(shù)據(jù)量，在不影響MapReduce框架基本特性的前提下，大幅度地提升了MapReduce框架的性能。
　　(2)針對(duì)Skyline查詢(xún)，首先，提出了在MapReduce框架下的Skyline查詢(xún)處理算法。其次，利用Skyline查詢(xún)結(jié)果的數(shù)量往往小于原始數(shù)據(jù)量的特點(diǎn)，提出了在ComMapReduce框架下的Skyline查詢(xún)處理算法，能夠有效地過(guò)濾部分不能成為查詢(xún)結(jié)果的數(shù)據(jù)

4、對(duì)象，減少M(fèi)ap任務(wù)的輸出，使得在有效地處理Skyline查詢(xún)的同時(shí)也提高了算法的執(zhí)行效率，降低了網(wǎng)絡(luò)開(kāi)銷(xiāo)。最后，提出了優(yōu)化Skyline查詢(xún)處理算法，進(jìn)一步地提高了在MapReduce和ComMapReduce框架下Skyline查詢(xún)的處理性能。
　　(3)針對(duì)不確定數(shù)據(jù)的概率Skyline查詢(xún)，首先，分析和總結(jié)了概率Skyline查詢(xún)的特點(diǎn)和性質(zhì)。其次，提出了filter-refine兩階段的處理方法，將不可分解的概率Skyl

5、ine查詢(xún)轉(zhuǎn)換成了兩個(gè)可分解的問(wèn)題，分別是求解全局候選集和影響集的問(wèn)題和計(jì)算最終概率Skyline結(jié)果的問(wèn)題。其中，filter階段獲得全局候選集和影響集，refine階段利用全局候選集和影響集求得最終的概率Skyline查詢(xún)結(jié)果。最后，提出了在MapReduce框架和ComMapReduce框架下的filter-refine概率Skyline查詢(xún)處理算法。通過(guò)有效地運(yùn)用ComMapReduce框架的通信策略，過(guò)濾部分無(wú)用的中間結(jié)果，提

6、高了不確定數(shù)據(jù)概率Skyline查詢(xún)的處理性能。
　　(4)針對(duì)連接查詢(xún)，首先，深入地分析和研究了在MapReduce框架下連接查詢(xún)處理算法，其中包括兩表連接查詢(xún)處理算法和多表連接查詢(xún)處理算法。其次，提出了在ComMapReduce框架下的連接查詢(xún)處理算法。運(yùn)用ComMapReduce框架的通信功能確定共享信息，避免了對(duì)無(wú)用元組的傳遞和排序，降低了處理代價(jià)，提高了連接查詢(xún)處理算法的效率。最后，提出了有效的連接順序分析方法，優(yōu)化了連