基于BAP的數(shù)據(jù)壓縮、操作與查詢處理系統(tǒng)的實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展及其在金融、交通、軍事、生態(tài)環(huán)境檢測(cè)、Web等領(lǐng)域的應(yīng)用日益深入，海量數(shù)據(jù)大量涌現(xiàn)，這就要求數(shù)據(jù)庫(kù)管理系統(tǒng)能夠存儲(chǔ)和處理上G、上T、甚至上P的海量數(shù)據(jù)。存儲(chǔ)介質(zhì)的價(jià)格/容量比的迅速下降使得海量數(shù)據(jù)的存儲(chǔ)本身并不是問題，問題是如何有效存儲(chǔ)和管理海量數(shù)據(jù)，并高效地支持上層查詢處理。
　　海量高頻度數(shù)據(jù)中存在著大量的數(shù)據(jù)冗余，即同一數(shù)值會(huì)在同一屬性列中多次出現(xiàn)。這不僅浪費(fèi)了存儲(chǔ)空間，也大大降低了查詢效率。利用壓縮數(shù)據(jù)庫(kù)

2、技術(shù)可以有效節(jié)省存儲(chǔ)空間和I/O帶寬。壓縮數(shù)據(jù)庫(kù)技術(shù)的研究?jī)?nèi)容包括：數(shù)據(jù)壓縮算法以及壓縮數(shù)據(jù)上的數(shù)據(jù)操作算法。
　　近來，智能決策支持、在線智能商務(wù)以及數(shù)據(jù)倉(cāng)庫(kù)等新應(yīng)用的出現(xiàn)要求數(shù)據(jù)庫(kù)管理系統(tǒng)更好地適應(yīng)主要面向數(shù)據(jù)讀取應(yīng)用的新特點(diǎn)。針對(duì)這個(gè)特點(diǎn)，數(shù)據(jù)庫(kù)研究者們進(jìn)一步審視傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)面向行存儲(chǔ)的機(jī)制，開始研究并重新架構(gòu)面向列存儲(chǔ)的數(shù)據(jù)庫(kù)管理系統(tǒng)。顯然，面向列存儲(chǔ)對(duì)于只讀查詢來說，因?yàn)閮H僅從磁盤上讀取與查詢相關(guān)的屬性列數(shù)據(jù)而不是

3、整個(gè)元組的數(shù)據(jù)而大大節(jié)省了磁盤I/O。
　　本文以現(xiàn)有關(guān)系數(shù)據(jù)庫(kù)為基礎(chǔ)，主要研究了適合于海量高頻度關(guān)系數(shù)據(jù)的壓縮算法以及存儲(chǔ)結(jié)構(gòu)和適合于壓縮數(shù)據(jù)上的查詢處理技術(shù)，包括數(shù)據(jù)操作算法和查詢優(yōu)化策略。本文的主要研究結(jié)果如下：
　　提出了適合海量高頻度關(guān)系數(shù)據(jù)的無損壓縮存儲(chǔ)算法TIDC。TIDC是一種基于屬性劃分的面向列存儲(chǔ)的數(shù)據(jù)壓縮方法。它通過整列數(shù)據(jù)的位置信息(TupleID)把按列存儲(chǔ)的各屬性列聯(lián)系起來。對(duì)每一屬性列的數(shù)據(jù)用其

4、位置信息和相應(yīng)的非常量值進(jìn)行存儲(chǔ)，實(shí)現(xiàn)了原始數(shù)據(jù)和壓縮后數(shù)據(jù)的完全映射，有效去除常量數(shù)據(jù)，能夠進(jìn)行不解壓(回算)而直接查詢，達(dá)到了壓縮存儲(chǔ)、提高查詢效率的目的。
　　針對(duì)TIDC壓縮存儲(chǔ)策略提出了相應(yīng)的數(shù)據(jù)操作算法包括選擇、投影和連接，并給出了TIDC壓縮數(shù)據(jù)上查詢的部分優(yōu)化策略。
　　實(shí)現(xiàn)了BAP方法的壓縮存儲(chǔ)算法，給出了BAP壓縮方法的數(shù)據(jù)操作算法包括選擇、投影和連接，同時(shí)給出了部分查詢優(yōu)化策略。
　　根據(jù)TIDC