改善數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)質(zhì)量的方法與應(yīng)用.pdf

1、近年來(lái),隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展和應(yīng)用,人們嘗試對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)進(jìn)行再加工,形成一個(gè)綜合的、面向主題分析的環(huán)境,以更好地支持決策服務(wù),從而形成了數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的重點(diǎn)與要求是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)源中取出數(shù)據(jù),經(jīng)過(guò)加工轉(zhuǎn)換后,再供管理人員進(jìn)行分析和決策,并為后續(xù)的數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)提供良好的數(shù)據(jù)環(huán)境。在數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建過(guò)程中,作業(yè)量最大、日常運(yùn)行問(wèn)題最多的是把業(yè)務(wù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)抽取、轉(zhuǎn)換和裝載到數(shù)據(jù)倉(cāng)庫(kù)的工作,即ETL的過(guò)程。由于數(shù)據(jù)倉(cāng)

2、庫(kù)系統(tǒng)的數(shù)據(jù)來(lái)自多個(gè)業(yè)務(wù)系統(tǒng),數(shù)據(jù)源質(zhì)量參差不齊,業(yè)務(wù)邏輯繁雜,因此在數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建過(guò)程中不可避免的會(huì)產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題。有些應(yīng)用系統(tǒng)的開發(fā)更是因?yàn)閿?shù)據(jù)質(zhì)量太差,導(dǎo)致用戶對(duì)數(shù)據(jù)的可信性、系統(tǒng)的可用性產(chǎn)生懷疑而失敗。因此,數(shù)據(jù)質(zhì)量是保證數(shù)據(jù)能夠有效地發(fā)揮作用的關(guān)鍵。數(shù)據(jù)質(zhì)量的保證貫穿于數(shù)據(jù)的整個(gè)生命周期,它是一個(gè)系統(tǒng)過(guò)程,是一個(gè)質(zhì)量評(píng)估分析和各種數(shù)據(jù)清洗方法相結(jié)合的不斷反復(fù)的過(guò)程。
　　 本文在湖南移動(dòng)經(jīng)營(yíng)分析系統(tǒng)設(shè)計(jì)與開發(fā)的過(guò)程中

3、,提出了利用ETL調(diào)度以及校驗(yàn)的方式來(lái)提高數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)質(zhì)量的方法,并對(duì)涉及到的關(guān)鍵技術(shù)進(jìn)行了深入探索：首先,利用ETL調(diào)度原理實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化調(diào)度,使數(shù)據(jù)成為一個(gè)流動(dòng)的數(shù)據(jù)流,數(shù)據(jù)所在的數(shù)據(jù)庫(kù)作為ETL流的起點(diǎn),保存高質(zhì)量數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)作為ETL數(shù)據(jù)流的終點(diǎn)。其次,對(duì)于已經(jīng)形成ETL數(shù)據(jù)流的數(shù)據(jù)生成流實(shí)例信息,對(duì)完成ETL流程處理的數(shù)據(jù)構(gòu)造歷史信息,從而保證能夠?qū)TL流進(jìn)行監(jiān)控。再次,構(gòu)造ETL流程的處理邏輯,構(gòu)造自動(dòng)化的校驗(yàn)程序