ETL的優(yōu)化設(shè)計(jì).pdf

1、數(shù)字化網(wǎng)絡(luò)系統(tǒng)作為一種信息共享平臺(tái)被應(yīng)用到信息化建設(shè)中，數(shù)據(jù)信息的日益復(fù)雜和管理對(duì)象的繁多也越來(lái)越成為信息管理所面臨的一個(gè)問(wèn)題，ETL（Extraction-Transformation-Loading）的引入為共享平臺(tái)提供了一個(gè)統(tǒng)一的接口，方便了對(duì)數(shù)據(jù)的操作和管理。一個(gè)良好的ETL處理過(guò)程可以很好的為數(shù)字化網(wǎng)絡(luò)系統(tǒng)服務(wù)，目前的大部分ETL技術(shù)工具在處理少量數(shù)據(jù)時(shí)效率比較好，但是在處理海量數(shù)據(jù)的時(shí)候，經(jīng)常會(huì)花費(fèi)大量時(shí)間，在整個(gè)數(shù)據(jù)處理過(guò)

2、程中還時(shí)常發(fā)生假死現(xiàn)象，因此在效率和可靠性方面還有待提高。
　　本文主要針對(duì)ETL的設(shè)計(jì)進(jìn)行了分析和對(duì)該處理過(guò)程的優(yōu)化進(jìn)行了研究。通過(guò)對(duì)ETL操作的各個(gè)過(guò)程進(jìn)行了分析，并做出了效率提高，尤其是在數(shù)據(jù)轉(zhuǎn)換這個(gè)關(guān)鍵階段加入了臨時(shí)數(shù)據(jù)庫(kù)作為緩沖池，并且對(duì)數(shù)據(jù)進(jìn)行批量提取，減少了外存向內(nèi)存寫入數(shù)據(jù)的時(shí)間開(kāi)銷，在多花費(fèi)少量空間的情況下提高了效率，節(jié)約了大量的時(shí)間。
　　經(jīng)過(guò)大量數(shù)據(jù)的測(cè)試比較，優(yōu)化的ETL流程方案在時(shí)間花費(fèi)比傳統(tǒng)的ET