基于支持列存儲(chǔ)的數(shù)據(jù)壓縮算法研究.pdf

1、由于日益龐大的業(yè)務(wù)處理，許多決策系統(tǒng)和OLAP系統(tǒng)的數(shù)據(jù)正在朝著TB數(shù)量級(jí)發(fā)展。面對(duì)各種存儲(chǔ)了海量數(shù)據(jù)的巨型表，如何充分利用存儲(chǔ)空間，節(jié)省系統(tǒng)維護(hù)成本，在查詢(xún)海量數(shù)據(jù)時(shí)取得更好的性能，引起了數(shù)據(jù)庫(kù)研究者們?cè)絹?lái)越多的關(guān)注。而將數(shù)據(jù)壓縮技術(shù)引進(jìn)數(shù)據(jù)庫(kù)系統(tǒng)，成為了解決大數(shù)據(jù)量環(huán)境下數(shù)據(jù)庫(kù)性能問(wèn)題的有效手段之一。
　　 在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)中，數(shù)據(jù)均是按行存儲(chǔ)的(行存數(shù)據(jù)庫(kù))，即關(guān)系表中同一條記錄的不同屬性值被依次順序存放在物理磁盤(pán)上。

2、遺憾的是，由于記錄中不同的屬性值通常取值于不同的值域，彼此間的相關(guān)性很小，導(dǎo)致按行存儲(chǔ)的數(shù)據(jù)存儲(chǔ)方式并不利于數(shù)據(jù)壓縮的實(shí)現(xiàn)。
　　 列存數(shù)據(jù)庫(kù)消除了行存數(shù)據(jù)庫(kù)在數(shù)據(jù)壓縮領(lǐng)域的不利條件。在列存數(shù)據(jù)庫(kù)中，連續(xù)存儲(chǔ)的數(shù)據(jù)均來(lái)源于同一個(gè)值域，而對(duì)同一個(gè)值域內(nèi)的數(shù)據(jù)進(jìn)行壓縮正是各種經(jīng)典數(shù)據(jù)壓縮算法實(shí)現(xiàn)的前提和關(guān)鍵。為此，本文對(duì)如何將各種經(jīng)典的數(shù)據(jù)壓縮算法融入列存數(shù)據(jù)庫(kù)進(jìn)行了研究。
　　 首先，本文闡述了列存環(huán)境下數(shù)據(jù)壓縮的重要意義

3、，并對(duì)數(shù)據(jù)壓縮技術(shù)的發(fā)展歷程和國(guó)外主流列存商業(yè)數(shù)據(jù)庫(kù)的現(xiàn)狀進(jìn)行了分析；其次，綜述了數(shù)據(jù)壓縮的相關(guān)概念以及列存數(shù)據(jù)庫(kù)在數(shù)據(jù)壓縮領(lǐng)域的巨大優(yōu)勢(shì)，并詳細(xì)討論了各種經(jīng)典的數(shù)據(jù)壓縮算法，具體包括了赫夫曼編碼、算術(shù)編碼、LZ77算法、LZW算法、RLE算法和空值壓縮算法等。
　　 隨后，本文深入研究了列存壓縮運(yùn)算庫(kù)的結(jié)構(gòu)設(shè)計(jì)。列存壓縮運(yùn)算庫(kù)由壓縮數(shù)據(jù)物理存儲(chǔ)機(jī)制、壓縮模塊和數(shù)據(jù)源模塊三個(gè)部分構(gòu)成。其中，物理存儲(chǔ)機(jī)制描述了不同壓縮數(shù)據(jù)在列存數(shù)

4、據(jù)庫(kù)中同時(shí)存儲(chǔ)的合理方案，是列存環(huán)境下各種壓縮算法實(shí)現(xiàn)的必要保證；壓縮模塊則封裝了具體壓縮算法的細(xì)節(jié)，并負(fù)責(zé)對(duì)外提供統(tǒng)一的解壓接口；而數(shù)據(jù)源模塊扮演著通信媒介的角色，為壓縮模塊與數(shù)據(jù)庫(kù)存儲(chǔ)層之間的消息和數(shù)據(jù)傳遞提供服務(wù)。此外，通過(guò)歸納各種壓縮數(shù)據(jù)的屬性，本文對(duì)傳統(tǒng)的數(shù)據(jù)庫(kù)執(zhí)行器算子進(jìn)行了相應(yīng)的改進(jìn)，從而實(shí)現(xiàn)了壓縮數(shù)據(jù)在壓縮態(tài)下的直接查詢(xún)。
　　 最后，本文以國(guó)產(chǎn)數(shù)據(jù)庫(kù)神舟OSCAR為平臺(tái)，具體實(shí)現(xiàn)了上述各項(xiàng)關(guān)鍵技術(shù)。通過(guò)對(duì)相關(guān)的