數(shù)據(jù)倉庫中抽取轉(zhuǎn)換加載系統(tǒng)的設(shè)計和實現(xiàn).pdf

1、數(shù)據(jù)轉(zhuǎn)換是ETL過程中最復(fù)雜、最重要的問題.提出數(shù)據(jù)資源整合的總體方案,設(shè)計和實現(xiàn)了兩個ETL 工具——Notes數(shù)據(jù)庫轉(zhuǎn)換工具和數(shù)據(jù)導(dǎo)入導(dǎo)出工具.Notes數(shù)據(jù)庫轉(zhuǎn)換工具解決非關(guān)系型的Notes數(shù)據(jù)庫向關(guān)系數(shù)據(jù)庫的轉(zhuǎn)換問題;數(shù)據(jù)導(dǎo)入導(dǎo)出工具主要用于關(guān)系數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制,具備簡單的數(shù)據(jù)轉(zhuǎn)換功能,側(cè)重于實用性和方便性.考慮到數(shù)據(jù)倉庫環(huán)境中更復(fù)雜的數(shù)據(jù)轉(zhuǎn)換問題,設(shè)計和實現(xiàn)了新的數(shù)據(jù)轉(zhuǎn)換引擎——數(shù)據(jù)轉(zhuǎn)換任務(wù)引擎.在數(shù)據(jù)轉(zhuǎn)換任務(wù)引擎中,提出

2、了一種描述轉(zhuǎn)換規(guī)則的方案——字段映射規(guī)貝婊達式,并設(shè)計了腳本語言DMScript以實現(xiàn)之,較好的解決了數(shù)據(jù)轉(zhuǎn)換的復(fù)雜性和可擴展性問題.ETL過程需要靈活的管理和控制.提出ETL過程工作流的概念和定義,并提出將ETL過程工作流模型化成一種加權(quán)有向圖——工作流圖的方法,設(shè)計了串行和并行兩種ETL過程工作流調(diào)度算法,并在DM<,->DTS工作流系統(tǒng)中得以實現(xiàn).數(shù)據(jù)倉庫需要完整的ETL系統(tǒng).以前面的工作為基礎(chǔ),設(shè)計了通用的ETL系統(tǒng)——DM<,