面向大數(shù)據(jù)查詢的索引技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，全球數(shù)據(jù)量呈爆炸性增長，并且數(shù)據(jù)種類極為豐富，傳統(tǒng)的存儲模型和索引技術(shù)已經(jīng)無法適用于現(xiàn)今的大數(shù)據(jù)管理環(huán)境中。因此，針對大數(shù)據(jù)的特點和需求，借鑒傳統(tǒng)索引技術(shù)的設(shè)計思想，研究面向大數(shù)據(jù)的索引技術(shù)已經(jīng)成為學(xué)術(shù)界比較關(guān)注的研究課題。
　　大數(shù)據(jù)具有多樣性，也就是說組織中的數(shù)據(jù)不再單單是過去傳統(tǒng)的結(jié)構(gòu)化的關(guān)系型數(shù)據(jù)，還包括來自網(wǎng)頁、社交媒體、電子郵件等大量非結(jié)構(gòu)化數(shù)據(jù)。由于兩種數(shù)據(jù)具有異構(gòu)性，所以經(jīng)常被分開存儲和處

2、理，但在一個應(yīng)用系統(tǒng)中，往往存在大量的相互關(guān)聯(lián)的異構(gòu)數(shù)據(jù)，而當用戶需要搜索這些數(shù)據(jù)時，亟需要一種索引機制實現(xiàn)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的快速統(tǒng)一訪問。而在過去的研究中，只是針對某一種數(shù)據(jù)類型的索引技術(shù)進行研究和應(yīng)用，對異構(gòu)數(shù)據(jù)索引技術(shù)的研究工作還很少，極其缺乏一個完善的索引機制用于解決異構(gòu)海量數(shù)據(jù)的查詢問題。
　　除多樣性外，大數(shù)據(jù)還具有一個明顯的特征便是海量性。為了存儲海量的數(shù)據(jù)，出現(xiàn)了很多具有代表性的分布式存儲和管理系統(tǒng)，如Goog

3、le的分布式文件系統(tǒng)GFS、雅虎的PNUTS、Hadoop的HDFS等。但它們大部分只提供簡單的基于主鍵的快速查詢，因缺乏必要的索引等機制，而無法高效地支持多種查詢方式，如范圍查詢、非主鍵查詢等。因此，為滿足用戶的多樣化查詢需求，提高數(shù)據(jù)查詢處理的效率，對海量數(shù)據(jù)的索引技術(shù)展開研究已成為一個亟待解決的挑戰(zhàn)性問題。
　　針對上述兩個方面的問題和挑戰(zhàn)，本文主要做了以下工作:
　　(1)提出一種關(guān)聯(lián)索引模型，用于解決海量異構(gòu)數(shù)據(jù)的

4、統(tǒng)一查詢問題。該索引機制利用結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間對共同實體的描述來建立聯(lián)系，并將該實體作為關(guān)鍵字創(chuàng)建索引。索引的結(jié)構(gòu)采用web上廣泛使用的RDF元數(shù)據(jù)形式，來描述實體與結(jié)構(gòu)化和非結(jié)構(gòu)化資源之間的對應(yīng)關(guān)系。為了減少關(guān)聯(lián)索引的冗余以及快速定位相應(yīng)資源，本模型在關(guān)聯(lián)索引層之下又引入輔助索引層，分別為結(jié)構(gòu)化數(shù)據(jù)創(chuàng)建B+tree索引，為非結(jié)構(gòu)化的自由文檔創(chuàng)建基于實體的倒排索引。該關(guān)聯(lián)索引模型很好的解決了結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)索引分離的問

5、題，為混合數(shù)據(jù)的查詢提供了統(tǒng)一的接口。最后通過實驗結(jié)果分析表明，該索引體制不僅能夠有效地支持異構(gòu)數(shù)據(jù)的混合查詢，而且還提高了查詢結(jié)果的準確性。
　　(2)提出一種兩級位圖索引模型，將精簡的位圖索引模式應(yīng)用到大數(shù)據(jù)環(huán)境中，結(jié)合MapReduce并行計算框架為存儲在分布式文件系統(tǒng)中的海量數(shù)據(jù)分別創(chuàng)建基于分塊級別的位圖索引和記錄級別的位圖索引。分塊級別的位圖索引相當于一個全局位圖，指示某個屬性值在各個分塊中的存在情況，從而避免查詢不相關(guān)