列存儲(chǔ)內(nèi)存數(shù)據(jù)庫的壓縮算法的應(yīng)用研究.pdf

1、近年來隨著各個(gè)行業(yè)數(shù)據(jù)量的大幅度增長，如金融，電信行業(yè)等，使得存儲(chǔ)費(fèi)用和管理費(fèi)用也隨之增長。面對(duì)信息量不斷膨脹的問題，數(shù)據(jù)庫系統(tǒng)采用壓縮數(shù)據(jù)的方法保存數(shù)據(jù)，同時(shí)為了提高壓縮比和便于OLTA（在線事務(wù)分析）統(tǒng)計(jì)分析的需求，也采用了列存儲(chǔ)數(shù)據(jù)的方法。
　　 在列存儲(chǔ)壓縮數(shù)據(jù)庫的使用中，面臨著如何提取源數(shù)據(jù)的問題，經(jīng)過壓縮后的數(shù)據(jù)需要解壓縮后才能提取數(shù)據(jù)，為了避免全體解壓縮后再提取數(shù)據(jù)的弊端，需對(duì)壓縮算法進(jìn)行選型，要求壓縮算法能夠在壓

2、縮態(tài)直接提取源數(shù)據(jù)，而不必全體解壓。但是這種在壓縮態(tài)直接提取源數(shù)據(jù)的方法，有其自己的弊端，就是在壓縮態(tài)直接提取數(shù)據(jù)的時(shí)候，需要從頭遍歷壓縮態(tài)數(shù)據(jù)，這樣會(huì)浪費(fèi)大量的時(shí)間，盡管在C_STORE中提出了分塊壓縮的思想，但是在本質(zhì)上沒有減少磁盤的IO，本文以此為切入點(diǎn)，對(duì)于能夠在壓縮態(tài)提取數(shù)據(jù)的壓縮算法加以共性的優(yōu)化。首先優(yōu)化了現(xiàn)有的分塊壓縮的思想。原有的分塊壓縮技術(shù)之所以沒有成功的減少磁盤IO，是因?yàn)閴嚎s后的數(shù)據(jù)塊頭部之間在磁盤上的間隔距離過

3、小，在數(shù)據(jù)庫塊間定位的時(shí)候，無法避免磁盤的連續(xù)讀取，為了解決此問題，本文給出了一個(gè)典型的解決辦法，加大塊的壓縮粒度，從而增大了數(shù)據(jù)塊的頭部之間在磁盤上的間隔距離，在塊間尋址的時(shí)候，可以跳躍大量不必要的磁盤塊，從而減少了磁盤IO。其次，為了進(jìn)一步提高壓縮態(tài)數(shù)據(jù)的提取速度，本文給出了“千存零取”機(jī)制，目的是提高塊內(nèi)提取數(shù)據(jù)的速度。以1000個(gè)數(shù)據(jù)為基準(zhǔn)，每整千個(gè)數(shù)據(jù)的塊內(nèi)偏移記錄在塊的頭部字段內(nèi)，當(dāng)提取數(shù)據(jù)的時(shí)候，可以在頭部立刻定位到附近的