基于XML數(shù)據(jù)源的ETL技術(shù)的研究.pdf

1、經(jīng)過長期的信息化建設(shè)，使企業(yè)和組織內(nèi)部產(chǎn)生了大量遺留系統(tǒng)，這些系統(tǒng)在實(shí)施過程中缺乏系統(tǒng)性、一致性考慮，因而產(chǎn)生了大量異構(gòu)信息。這些信息無法進(jìn)行有效的共享和交換，導(dǎo)致以XML為基礎(chǔ)的信息集成平臺成為信息技術(shù)發(fā)展的一種必然趨勢。信息集成過程中，數(shù)據(jù)質(zhì)量難以保證，導(dǎo)致分析決策的可靠性降低，使得ETL(數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、裝載)成為一個十分重要的環(huán)節(jié)，它將源系統(tǒng)中的數(shù)據(jù)轉(zhuǎn)換為有用的信息用于決策支持。因此，以XML為基礎(chǔ)的ETL技術(shù)的研究尤為重

2、要。本文主要的研究工作可概況為以下幾個方面：
　　第一，在分析XML、CWM與信息集成相融合的優(yōu)勢基礎(chǔ)上，提出了一種利用公共倉庫元模型CWM解決信息集成中數(shù)據(jù)抽取的方案，構(gòu)建了一個基于公共倉庫元模型CWM的結(jié)構(gòu)化數(shù)據(jù)信息集成架構(gòu)，設(shè)計了一個公共的、獨(dú)立于任何特定實(shí)現(xiàn)模型的元模型基礎(chǔ)上的Wrapper，解決了結(jié)構(gòu)化數(shù)據(jù)抽取過程中由于數(shù)據(jù)源發(fā)生變化引起的Wrapper維護(hù)問題。
　　第二，在分析現(xiàn)有XML數(shù)據(jù)相似性檢測技術(shù)基礎(chǔ)上

3、，提出了一種節(jié)點(diǎn)加權(quán)與樹編輯距離相結(jié)合的檢測方法，該方法通過計算XML帶權(quán)樹的相似度來對數(shù)據(jù)進(jìn)行粗略匹配、簡單聚集，然后在每個集合中利用樹編輯距離算法進(jìn)行相似性檢測。由于對XML數(shù)據(jù)進(jìn)行了預(yù)處理，減少了不必要的樹編輯操作，因而時間復(fù)雜度大大降低。
　　第三，為了將理論應(yīng)用于實(shí)踐，在一個應(yīng)用實(shí)例中進(jìn)行實(shí)驗(yàn)?zāi)M。構(gòu)建了特種設(shè)備整合系統(tǒng)的體系結(jié)構(gòu)，設(shè)計了信息集成過程中數(shù)據(jù)抽取的元數(shù)據(jù)統(tǒng)一格式，并抽取出所需要的XML數(shù)據(jù)。另外，為了驗(yàn)證本