云環(huán)境下直方圖立方壓縮存儲與增量更新及查詢研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)和云計(jì)算時(shí)代到來，像聯(lián)機(jī)分析處理(On Line Analytical Processing，OLAP)這種需要大量計(jì)算和存儲開銷的問題變得簡單許多。然而受數(shù)據(jù)海量化和高維化影響，OLAP技術(shù)在計(jì)算和存儲方面仍然面臨嚴(yán)峻的挑戰(zhàn)，分布式環(huán)境下的處理方式只是緩解上述挑戰(zhàn)。
　　本文提出了直方圖數(shù)據(jù)立方體的壓縮架構(gòu)，分別從直方數(shù)據(jù)圖立方體的底層存儲結(jié)構(gòu)，內(nèi)容壓縮，整體壓縮三個方面進(jìn)行了優(yōu)化處理。首先底層存儲結(jié)構(gòu)上，本文基于直方

2、圖數(shù)據(jù)立方體和封閉數(shù)據(jù)立方體技術(shù)對于直方圖數(shù)據(jù)立方體的存儲結(jié)構(gòu)進(jìn)行改進(jìn)，提出了封閉元祖+直方圖的底層存儲結(jié)構(gòu);內(nèi)容壓縮上，本文根據(jù)直方圖數(shù)據(jù)立方體的統(tǒng)計(jì)結(jié)構(gòu)信息提出計(jì)數(shù)倒轉(zhuǎn)的壓縮方法;整體壓縮上，本文借用文件壓縮進(jìn)一步壓縮直方圖數(shù)據(jù)立方體;綜合上述三種壓縮技術(shù)，本文實(shí)現(xiàn)了對直方圖數(shù)據(jù)立方體的高效壓縮。
　　構(gòu)建數(shù)據(jù)立方體在時(shí)間上是一種很大的開銷，前人大多都是在研究如何用盡可能少的時(shí)間構(gòu)建一個完全數(shù)據(jù)立方體，而數(shù)據(jù)立方體是面向企業(yè)應(yīng)

3、用的，企業(yè)會有不斷的新數(shù)據(jù)需要累加到數(shù)據(jù)立方體中。本文對數(shù)據(jù)立方體增量更新的收益與代價(jià)進(jìn)行了分析研究，對數(shù)據(jù)立方體增量構(gòu)建方法進(jìn)行了探索，本文提出了封閉數(shù)據(jù)立方體增量更新時(shí)沒有刪除只有增加和更新的規(guī)律，并在MapReduce分布式環(huán)境下實(shí)現(xiàn)了MRC-IncreUp算法。
　　封閉數(shù)據(jù)立方體的查詢實(shí)現(xiàn)才是OLAP的最終目的，本文提出了基于查詢鍵的直接查詢和基于封閉原則編碼分類的分類查詢，另外為了實(shí)現(xiàn)交互式查詢，本文引入了Impala