數(shù)據(jù)倉(cāng)庫(kù)實(shí)體化視圖聯(lián)機(jī)一致性維護(hù)研究.pdf

1、數(shù)據(jù)倉(cāng)庫(kù)是市場(chǎng)激烈競(jìng)爭(zhēng)的產(chǎn)物，它將大量用于事務(wù)處理的數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行清理、抽取和轉(zhuǎn)換，并按決策主題的需要重新進(jìn)行組織，以達(dá)到有效決策支持的目標(biāo)。自從它上世紀(jì)90年代初被提出以來(lái)，迄今已經(jīng)形成潮流。在美國(guó)，數(shù)據(jù)倉(cāng)庫(kù)已成為緊跟Internet之后處于第二位的技術(shù)熱點(diǎn)。 作為數(shù)據(jù)倉(cāng)庫(kù)技術(shù)研究的熱點(diǎn)之一，實(shí)體化視圖的聯(lián)機(jī)維護(hù)是數(shù)據(jù)倉(cāng)庫(kù)聯(lián)機(jī)維護(hù)技術(shù)中的一個(gè)關(guān)鍵技術(shù)。它是指，在數(shù)據(jù)倉(cāng)庫(kù)為用戶提供服務(wù)的同時(shí)，當(dāng)數(shù)據(jù)庫(kù)中的原始數(shù)據(jù)發(fā)生改變時(shí)，系統(tǒng)

2、能實(shí)時(shí)地將這種變化反映到數(shù)據(jù)倉(cāng)庫(kù)中，使相應(yīng)的實(shí)體化視圖得到及時(shí)的刷新。 現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品采用的都是定時(shí)脫機(jī)維護(hù)策略：系統(tǒng)先搜集記錄，但不立刻加入數(shù)據(jù)倉(cāng)庫(kù)，而是采用定時(shí)技術(shù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行增量更新，期間數(shù)據(jù)倉(cāng)庫(kù)被禁止使用。所以，許多采用現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品的公司都是利用夜晚對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行刷新維護(hù)，以保證其在正常工作時(shí)間內(nèi)能夠讀取數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)。但是，這種維護(hù)方式面臨3個(gè)重要的問題： 第一，隨著全球經(jīng)濟(jì)一體化的推進(jìn)，跨地區(qū)、甚

3、至于跨國(guó)企業(yè)不斷涌現(xiàn)。對(duì)于這些企業(yè)來(lái)說，由于時(shí)區(qū)的原因，專門對(duì)系統(tǒng)進(jìn)行更新維護(hù)的“夜晚”將越來(lái)越難以確定，從而可能影響到企業(yè)數(shù)據(jù)的及時(shí)傳送。 第二，隨著應(yīng)用的不斷深入，當(dāng)數(shù)據(jù)量非常大的時(shí)候，這種維護(hù)方式所用的時(shí)間也會(huì)越來(lái)越長(zhǎng)。同時(shí)，由于定時(shí)技術(shù)在刷新系統(tǒng)期間，對(duì)數(shù)據(jù)倉(cāng)庫(kù)是禁止使用的，而系統(tǒng)的維護(hù)工作必須在次日清晨用戶開始使用數(shù)據(jù)倉(cāng)庫(kù)之前完成，因此時(shí)間是一個(gè)必須認(rèn)真考慮的限制因素。 第三，定時(shí)技術(shù)容易使信息過時(shí)。在一些對(duì)實(shí)

4、時(shí)性要求比較高的關(guān)鍵任務(wù)中，如戰(zhàn)場(chǎng)決策等，這種脫機(jī)維護(hù)方式是不能夠被接受的。 因此，開展24(小時(shí))×7(天)的數(shù)據(jù)倉(cāng)庫(kù)實(shí)體化視圖聯(lián)機(jī)維護(hù)工作模式研究，是一個(gè)有著實(shí)際意義的課題。 對(duì)于單數(shù)據(jù)源單視圖環(huán)境下的數(shù)據(jù)倉(cāng)庫(kù)實(shí)體化視圖的聯(lián)機(jī)維護(hù)問題，論文通過引入數(shù)據(jù)擴(kuò)展模式的概念，對(duì)數(shù)據(jù)源的修改信息進(jìn)行分類記錄；論文采用版本控制、補(bǔ)償思想和應(yīng)答機(jī)制來(lái)協(xié)調(diào)數(shù)據(jù)源與數(shù)據(jù)倉(cāng)庫(kù)間的數(shù)據(jù)更新，提出了相應(yīng)維護(hù)算法Glide；該算法分為Glid

5、e-DW和Glide-DB兩部分，分別在數(shù)據(jù)倉(cāng)庫(kù)端和源數(shù)據(jù)庫(kù)端執(zhí)行，以保證數(shù)據(jù)倉(cāng)庫(kù)實(shí)體化視圖數(shù)據(jù)與源的一致性；對(duì)于一些必須通過訪問源數(shù)據(jù)庫(kù)才能給出的OLAP查詢等，算法Glide也保證了它們的一致性；算法修正了前人算法中的一些不足，并提高了算法的健壯程度和源數(shù)據(jù)庫(kù)端CPU的利用率；論文指出，算法Glide是完全一致收斂的，并給出了嚴(yán)格的數(shù)學(xué)證明；且通過一個(gè)示例說明了該算法在實(shí)際中的具體運(yùn)用；對(duì)于包含源關(guān)系關(guān)鍵屬性的數(shù)據(jù)倉(cāng)庫(kù)實(shí)體化視圖定義

6、，論文介紹了針對(duì)性維護(hù)算法ECA-Key. 多數(shù)據(jù)源聯(lián)接的數(shù)據(jù)倉(cāng)庫(kù)實(shí)體化視圖的一致性維護(hù)，是該論文研究的第二個(gè)問題。其問題的難點(diǎn)在于，由于業(yè)務(wù)分布、介質(zhì)及網(wǎng)絡(luò)通信等方面的原因，數(shù)據(jù)倉(cāng)庫(kù)收到的查詢計(jì)算結(jié)果，和它向各數(shù)據(jù)源發(fā)出的計(jì)算查詢順序并不一致，從而引起更新維護(hù)后數(shù)據(jù)的不一致。對(duì)于包含源關(guān)系關(guān)鍵屬性的數(shù)據(jù)倉(cāng)庫(kù)實(shí)體化視圖定義，論文介紹了針對(duì)性維護(hù)算法Strobe及其改進(jìn)算法Strobe*，并給出算法Strobe*強(qiáng)一致收斂的理論證

7、明。對(duì)于一般情景下的多源維護(hù)，論文提出了一個(gè)強(qiáng)一致普適性算法M-Glide，它是算法Glide的一個(gè)本質(zhì)推廣；算法引入動(dòng)作列表(actionlist)概念，用于記錄數(shù)據(jù)倉(cāng)庫(kù)端發(fā)出的操作序列集，并通過它保證維護(hù)提交的動(dòng)作順序和集成器收到的消息的順序一致，從而確保當(dāng)提交維護(hù)事務(wù)后數(shù)據(jù)倉(cāng)庫(kù)視圖值與源的一致性；文章同時(shí)給出了一個(gè)說明示例。 粒度是數(shù)據(jù)倉(cāng)庫(kù)的重要概念，在數(shù)據(jù)倉(cāng)庫(kù)中，多重粒度是必不可少的。如何進(jìn)行粒度視圖，即基本方體與聚合格

8、間的維護(hù)，同時(shí)保證它們之間，以及它們與數(shù)據(jù)源之間的數(shù)據(jù)一致性，是論文研究的另外兩個(gè)問題。論文引入了視圖更新表(ViewUpdateTable)的概念，以用于記錄各數(shù)據(jù)源記錄變化對(duì)數(shù)據(jù)倉(cāng)庫(kù)視圖的影響，于是當(dāng)視圖更新表判定當(dāng)返回的查詢結(jié)果，已能引起各數(shù)據(jù)倉(cāng)庫(kù)視圖間的數(shù)據(jù)達(dá)到一致狀態(tài)時(shí)，將由合并進(jìn)程生成一個(gè)統(tǒng)一的維護(hù)事務(wù)向數(shù)據(jù)倉(cāng)庫(kù)提交；論文介紹了多視圖維護(hù)算法SPA及PA，分別用于處理單一更新與集中處理的不同情況；算法保證當(dāng)數(shù)據(jù)源發(fā)生變化時(shí)，

9、多視圖的維護(hù)能夠確保視圖數(shù)據(jù)與源之間，同時(shí)各視圖之間的數(shù)據(jù)一致性。論文指出，簡(jiǎn)單畫筆算法SPA是完全一致收斂的，而畫筆算法PA是強(qiáng)一致收斂。 對(duì)于帶有聚集函數(shù)的視圖維護(hù)問題，其實(shí)際背景是多維數(shù)據(jù)庫(kù)的立方體概念。數(shù)據(jù)倉(cāng)庫(kù)的物理結(jié)構(gòu)一般采用星型結(jié)構(gòu)的關(guān)系數(shù)據(jù)庫(kù)。星型結(jié)構(gòu)由事實(shí)表和維表組成，多個(gè)維表之間形成多維數(shù)據(jù)結(jié)構(gòu)。星型結(jié)構(gòu)的數(shù)據(jù)體現(xiàn)了空間的多維立方體，聚合格即是事實(shí)表與相應(yīng)維表之間的聚集聯(lián)接。如何維護(hù)這些聚合格，可以看作是多視圖

10、維護(hù)的一個(gè)特例。與多視圖維護(hù)不同的是，這些聚合格帶有聚集函數(shù)定義，同時(shí)引發(fā)它們更新維護(hù)的原因在于基本方體的變化。論文在前人研究的基礎(chǔ)上，提出了改進(jìn)算法Refresh*，研究當(dāng)基本方體發(fā)生增刪變化時(shí)，聚合格如何反映這種的變化。算法給出了聚合格維護(hù)的一個(gè)具體方法，與原有的算法相比，算法Refresh*在時(shí)間復(fù)雜度上有很大的改進(jìn)。 論文還提出了三層數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)，和與之相應(yīng)的集成部件結(jié)構(gòu)。同時(shí)，基于論文對(duì)數(shù)據(jù)倉(cāng)庫(kù)更新維護(hù)上所作研究得到的