分布式數(shù)據(jù)倉庫中ETL技術的研究.pdf

1、隨著企業(yè)規(guī)模的擴大，業(yè)務不斷向多個地區(qū)擴展，許多企業(yè)的運作模式形成一種分布式管理結構。另外，由于歷史、地理、經(jīng)濟等諸多原因，企業(yè)內(nèi)部存在許多不兼容的、相互獨立的事務處理系統(tǒng)，需要對分散在這些系統(tǒng)中的相關數(shù)據(jù)進行集成，以向分析決策人員提供統(tǒng)一的數(shù)據(jù)視圖，分布式數(shù)據(jù)倉庫應運而生。數(shù)據(jù)的抽取、轉(zhuǎn)換和加載(ETL)是創(chuàng)建數(shù)據(jù)倉庫系統(tǒng)的重要環(huán)節(jié)。ETL技術一直是分布式數(shù)據(jù)倉庫中的研究熱點。
　　首先，介紹了數(shù)據(jù)倉庫和ETL的基本概念，指出E

2、TL在數(shù)據(jù)倉庫創(chuàng)建過程中的重要性；對分布式數(shù)據(jù)倉庫的體系結構、分類及開發(fā)策略進行了論述；重點對：ETL和分布式ETL進行了對比，指出了分布式ETL中的主要問題，主要體現(xiàn)在數(shù)據(jù)一致性維護和數(shù)據(jù)轉(zhuǎn)換效率兩個方面。
　　其次，在分布式數(shù)據(jù)倉庫環(huán)境下，每個局部數(shù)據(jù)倉庫都是一個獨立的ETL節(jié)點?？紤]到數(shù)據(jù)副本的存在，因而分布式數(shù)據(jù)倉庫的ETL是針對多個目標源的，若此時還是采用傳統(tǒng)集中式ETL的體系結構就會出現(xiàn)局部節(jié)點數(shù)據(jù)倉庫數(shù)據(jù)不一致的問題

3、。在分析了集中式ETL體系結構的基礎上，提出了一種改進的分布式ETL體系結構-ETLM，較好的解決了分布式ETL中的數(shù)據(jù)一致性問題。
　　第三，分布式數(shù)據(jù)倉庫有多個局部ETL節(jié)點，處理的是海量數(shù)據(jù)，并且數(shù)據(jù)轉(zhuǎn)換完后要加載到多個局部數(shù)據(jù)倉庫之中，傳統(tǒng)的數(shù)據(jù)抽取和轉(zhuǎn)換技術在響應時間和轉(zhuǎn)換效率等方面存在諸多不足。根據(jù)OLAP和DM的實際需求，提出了一種基于數(shù)據(jù)分割策略和負載均衡技術相結合的分布式ETL執(zhí)行優(yōu)化策略，把分布式的技術與ETL