ETL過(guò)程改進(jìn)的研究.pdf

1、數(shù)據(jù)倉(cāng)庫(kù)包含了從各種獨(dú)立自治的數(shù)據(jù)源中抽取的信息，當(dāng)源數(shù)據(jù)發(fā)生變化時(shí)，為反映這種變化，通常利用ETL過(guò)程更新數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。當(dāng)采用完全重載的方法時(shí)，由于源數(shù)據(jù)集較大，大大增加了業(yè)務(wù)系統(tǒng)的負(fù)荷，刷新數(shù)據(jù)處理時(shí)間也較長(zhǎng)，因此無(wú)法保證刷新速度，降低了數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)變化的反應(yīng)靈敏度。 本文從減少ETL過(guò)程處理數(shù)據(jù)集規(guī)模和提高單位時(shí)間內(nèi)ETL過(guò)程數(shù)據(jù)處理能力兩個(gè)角度入手對(duì)ETL工具進(jìn)行改進(jìn)。文中解決了觸發(fā)器屬性抽取和級(jí)聯(lián)死鎖判斷問(wèn)題

2、，結(jié)合觸發(fā)器和變更數(shù)據(jù)存儲(chǔ)表(Delta．表)概念引入了增量數(shù)據(jù)源，并將增量數(shù)據(jù)源納入到統(tǒng)一數(shù)據(jù)模型中進(jìn)行管理。同時(shí)分析了完全ETL刷新變?yōu)樵隽克⑿聲r(shí)遇到的異常，使用預(yù)處理、補(bǔ)償?shù)仁侄伪ＷC增量刷新過(guò)程的邏輯正確性。并行化包含了SPMD并行(Single Program Multiply Data)和流水線(xiàn)并行，將數(shù)據(jù)平衡分布到各個(gè)ETL處理實(shí)例，并在各處理實(shí)例內(nèi)施行流水線(xiàn)并行。論文討論了并行化涉及的邏輯等價(jià)性、負(fù)載均衡、分片策略、并行優(yōu)