基于數(shù)據(jù)映射圖ETL任務(wù)模型的構(gòu)造和管理.pdf

1、ETL(Extraction、Transformation、Loading)過程實現(xiàn)把數(shù)據(jù)從業(yè)務(wù)系統(tǒng)系統(tǒng)中抽取,轉(zhuǎn)換,裝載數(shù)據(jù)到數(shù)據(jù)倉庫中,完成對業(yè)務(wù)數(shù)據(jù)對決策分析的內(nèi)容和結(jié)構(gòu)變化的整個過程,是任何數(shù)據(jù)倉庫工程不可缺少的成功因素.在傳統(tǒng)的數(shù)據(jù)倉庫建設(shè)中,往往強調(diào)數(shù)據(jù)倉庫本身的建模和前端數(shù)據(jù)展示,而對ETL的設(shè)計和建模關(guān)心不足,使ETL過程反復(fù)進行,甚至導(dǎo)致項目實施的失敗.從國內(nèi)外眾多的實踐得到普遍的共識是ETL設(shè)計與實施的工作量要占到整

2、個數(shù)據(jù)倉庫項目時間的60﹪-80﹪.ETL在數(shù)據(jù)倉庫建設(shè)的重要地位越來越得到人們的關(guān)注.在本文,我們詳細描述了ETL過程的任務(wù)活動的組成部分.本文提出一種新的基于數(shù)據(jù)映射圖的ETL任務(wù)設(shè)計方法.在數(shù)據(jù)倉庫的早期設(shè)計階段,用數(shù)據(jù)映射圖來表達ETL任務(wù)模型,深入描述ETL任務(wù)中內(nèi)部數(shù)據(jù)源與目標(biāo)間屬性的映射關(guān)系和對應(yīng)的轉(zhuǎn)換操作,來構(gòu)造ETL的過程.通過一個分析主題的ETL任務(wù)實例,詳細描述和展示了基于數(shù)據(jù)映射圖的ETL任務(wù)模型的設(shè)計和建立過程

3、.通過這個設(shè)計方法使整個ETL任務(wù)設(shè)計過程規(guī)范化,重用化,清晰地指導(dǎo)開發(fā)人員在ETL過程的代碼開發(fā),提高工作效率.同時本文設(shè)計和實現(xiàn)了一個基于數(shù)據(jù)映射圖的ETL任務(wù)模型管理系統(tǒng),用來輔助我們對ETL任務(wù)模型的設(shè)計,管理和使用.其中集成了繪制數(shù)據(jù)映射圖模塊;定義了的ETL任務(wù)元數(shù)據(jù)模型;并把ETL任務(wù)模型的元數(shù)據(jù)進行收集,實現(xiàn)元數(shù)據(jù)XML模式到關(guān)系模式的轉(zhuǎn)換,存放在元數(shù)據(jù)知識庫中,為元數(shù)據(jù)消費者服務(wù);實現(xiàn)數(shù)據(jù)來源軌跡的追蹤,有助于設(shè)計人員