改善數(shù)據(jù)倉庫中數(shù)據(jù)質(zhì)量的方法與應(yīng)用.pdf

1、近年來,隨著數(shù)據(jù)庫技術(shù)的發(fā)展和應(yīng)用,人們嘗試對數(shù)據(jù)庫中數(shù)據(jù)進(jìn)行再加工,形成一個綜合的、面向主題分析的環(huán)境,以更好地支持決策服務(wù),從而形成了數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的重點與要求是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)源中取出數(shù)據(jù),經(jīng)過加工轉(zhuǎn)換后,再供管理人員進(jìn)行分析和決策,并為后續(xù)的數(shù)據(jù)挖掘和知識發(fā)現(xiàn)提供良好的數(shù)據(jù)環(huán)境。在數(shù)據(jù)倉庫的構(gòu)建過程中,作業(yè)量最大、日常運(yùn)行問題最多的是把業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)抽取、轉(zhuǎn)換和裝載到數(shù)據(jù)倉庫的工作,即ETL的過程。由于數(shù)據(jù)倉

2、庫系統(tǒng)的數(shù)據(jù)來自多個業(yè)務(wù)系統(tǒng),數(shù)據(jù)源質(zhì)量參差不齊,業(yè)務(wù)邏輯繁雜,因此在數(shù)據(jù)倉庫的構(gòu)建過程中不可避免的會產(chǎn)生數(shù)據(jù)質(zhì)量問題。有些應(yīng)用系統(tǒng)的開發(fā)更是因為數(shù)據(jù)質(zhì)量太差,導(dǎo)致用戶對數(shù)據(jù)的可信性、系統(tǒng)的可用性產(chǎn)生懷疑而失敗。因此,數(shù)據(jù)質(zhì)量是保證數(shù)據(jù)能夠有效地發(fā)揮作用的關(guān)鍵。數(shù)據(jù)質(zhì)量的保證貫穿于數(shù)據(jù)的整個生命周期,它是一個系統(tǒng)過程,是一個質(zhì)量評估分析和各種數(shù)據(jù)清洗方法相結(jié)合的不斷反復(fù)的過程。
　　 本文在湖南移動經(jīng)營分析系統(tǒng)設(shè)計與開發(fā)的過程中

3、,提出了利用ETL調(diào)度以及校驗的方式來提高數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量的方法,并對涉及到的關(guān)鍵技術(shù)進(jìn)行了深入探索：首先,利用ETL調(diào)度原理實現(xiàn)數(shù)據(jù)的自動化調(diào)度,使數(shù)據(jù)成為一個流動的數(shù)據(jù)流,數(shù)據(jù)所在的數(shù)據(jù)庫作為ETL流的起點,保存高質(zhì)量數(shù)據(jù)的數(shù)據(jù)倉庫作為ETL數(shù)據(jù)流的終點。其次,對于已經(jīng)形成ETL數(shù)據(jù)流的數(shù)據(jù)生成流實例信息,對完成ETL流程處理的數(shù)據(jù)構(gòu)造歷史信息,從而保證能夠?qū)TL流進(jìn)行監(jiān)控。再次,構(gòu)造ETL流程的處理邏輯,構(gòu)造自動化的校驗程序