列存儲(chǔ)系統(tǒng)中并行查詢處理的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的普及，信息時(shí)代的到來，人們?nèi)粘Ｉ钏媾R的數(shù)據(jù)已經(jīng)非常巨大，如何圍繞這些數(shù)據(jù)建立數(shù)據(jù)倉(cāng)庫(kù)、進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析正逐步成為數(shù)據(jù)處理的主題。如何快速準(zhǔn)確分析這些海量數(shù)據(jù)，對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)有了更高的要求。傳統(tǒng)的基于行存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)已經(jīng)不能很好地適應(yīng)海量數(shù)據(jù)分析的要求，而基于列的存儲(chǔ)模型能夠較好地支持海量數(shù)據(jù)分析。
　　近年來，微處理器的發(fā)展非常迅速。由于處理器功耗與設(shè)計(jì)的限制，處理器的發(fā)展趨勢(shì)正逐步從單核心高主頻到多核

2、心處理器發(fā)展?，F(xiàn)在單核心處理器幾乎從處理器市場(chǎng)中消失，而片上多核處理器(chipmultipro-cessor，CMP)已經(jīng)成為該市場(chǎng)上的主流。多核處理器能夠?yàn)榱写鎯?chǔ)并行查詢執(zhí)行提供硬件環(huán)境。
　　本文主要研究多核處理器環(huán)境下列存儲(chǔ)系統(tǒng)的并行查詢?cè)O(shè)計(jì)與實(shí)現(xiàn)技術(shù)。論文以我們實(shí)驗(yàn)室研制的列存儲(chǔ)系統(tǒng)DWMS為依托，研究現(xiàn)有的查詢技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一套基于多核處理器的并行查詢模塊。
　　1、分析一條查詢語句在處理過程中的各個(gè)階段的基

3、礎(chǔ)上，并為多個(gè)查詢階段的查詢優(yōu)化做出并行化分析。
　　2、設(shè)計(jì)了基于OpenMP技術(shù)動(dòng)態(tài)分配的多線程快速排序算法。
　　3、設(shè)計(jì)了多個(gè)多線程hash連接算法，可根據(jù)具體的情況選擇合適的連接算法。
　　4、分析多查詢基礎(chǔ)上設(shè)計(jì)了一個(gè)簡(jiǎn)單的多查詢并行。
　　5、對(duì)基于傳遞塊的查詢執(zhí)行模型進(jìn)行分析后，建立了傳遞塊緩沖區(qū)。以傳遞塊緩沖區(qū)為數(shù)據(jù)流轉(zhuǎn)中心設(shè)計(jì)了基于流水線的查詢并行化方案。這種設(shè)計(jì)主要將父子節(jié)點(diǎn)間傳送數(shù)據(jù)的方式

4、由傳遞塊改為傳遞塊緩沖區(qū)，這樣操作節(jié)點(diǎn)只對(duì)緩沖區(qū)讀寫數(shù)據(jù)，父子操作節(jié)點(diǎn)之間實(shí)現(xiàn)了分離。通過對(duì)緩沖區(qū)的有效管理，能夠很好地提高DWMS的查詢性能。
　　6、論文最后對(duì)整個(gè)查詢的并行設(shè)計(jì)做出分析，通過對(duì)相關(guān)參數(shù)、緩沖區(qū)數(shù)量和并行模塊的進(jìn)行設(shè)置，進(jìn)一步提高查詢性能。
　　在多核環(huán)境下，論文對(duì)DWMS數(shù)據(jù)倉(cāng)庫(kù)原型系統(tǒng)進(jìn)行了多線程設(shè)計(jì)，主要是對(duì)操作節(jié)點(diǎn)的并行化設(shè)計(jì)和流水線并行化設(shè)計(jì)。通過理論分析和相關(guān)實(shí)驗(yàn)的驗(yàn)證，表明我們的查詢并行化設(shè)