基于數(shù)據(jù)倉庫的ETL優(yōu)化與實(shí)現(xiàn).pdf

1、數(shù)據(jù)倉庫為企業(yè)的決策支持提供強(qiáng)有力的依據(jù)，而ETL(Extraction、Transformation、Loading)過程是構(gòu)建一個高數(shù)據(jù)質(zhì)量數(shù)據(jù)倉庫最重要的組成部分。它需要處理海量數(shù)據(jù)，及時(shí)刷新數(shù)據(jù)倉庫的數(shù)據(jù)，如何快速處理海量數(shù)據(jù)并且得到高質(zhì)量數(shù)據(jù)是一個非常值得研究的問題。ETL工具在商業(yè)領(lǐng)域應(yīng)用廣泛，且開發(fā)的效率比較高。但是運(yùn)行效率卻不盡如人意，而且在實(shí)現(xiàn)ETL之前并沒有專門去設(shè)計(jì)ETL工作流。
　　為了提高ETL的執(zhí)行速度

2、，優(yōu)化項(xiàng)目中的ETL，本文采用ETL狀態(tài)空間搜索的方式來優(yōu)化ETL，即將ETL看成一個狀態(tài)，它的所有等價(jià)狀態(tài)即為狀態(tài)空間，從狀態(tài)空間中搜索得到一個最優(yōu)的ETL工作流。首先針對項(xiàng)目具體問題，設(shè)計(jì)了UML類圖，提出了基于前接節(jié)點(diǎn)的模式產(chǎn)生算法，研究分析了狀態(tài)轉(zhuǎn)換的條件，采用線性回歸分析方法預(yù)測狀態(tài)執(zhí)行時(shí)間，使用JAVA語言實(shí)現(xiàn)了UML類圖、相關(guān)的轉(zhuǎn)換算法。并對比分析了常規(guī)模式產(chǎn)生和基于前接節(jié)點(diǎn)的模式產(chǎn)生算法的性能、窮舉搜索算法和啟發(fā)式搜索算