基于Web的數(shù)據(jù)清洗及轉(zhuǎn)換通用框架的研究及應(yīng)用.pdf

1、近年來，隨著信息技術(shù)的不斷發(fā)展和數(shù)據(jù)庫技術(shù)的成熟應(yīng)用，企業(yè)業(yè)務(wù)數(shù)據(jù)飛速增長，除去數(shù)據(jù)本身的信息，數(shù)據(jù)之間還蘊(yùn)藏著大量的對(duì)企業(yè)管理決策有益的潛在因素。如何有效地將這種隱藏的信息查找出來并應(yīng)用于決策分析，成為人們研究的一個(gè)重點(diǎn)，在此背景下，數(shù)據(jù)倉庫技術(shù)應(yīng)運(yùn)而生。 在數(shù)據(jù)倉庫構(gòu)建過程中，良好的數(shù)據(jù)質(zhì)量是整個(gè)系統(tǒng)進(jìn)行正確決策分析的基礎(chǔ)，而有效的數(shù)據(jù)清洗及轉(zhuǎn)換是數(shù)據(jù)倉庫中高質(zhì)量數(shù)據(jù)的保證。但是由于數(shù)據(jù)清洗具有很強(qiáng)的領(lǐng)域性，大部分傳統(tǒng)的ET

2、L工具中數(shù)據(jù)清洗和轉(zhuǎn)換模塊耦合比較嚴(yán)重，通用性差，系統(tǒng)在引入新功能時(shí)擴(kuò)展性和維護(hù)性不好，使得系統(tǒng)很難在大范圍內(nèi)可持續(xù)使用。 “基于Web的數(shù)據(jù)轉(zhuǎn)換及清洗通用框架的研究及應(yīng)用”正是基于此而提出的一個(gè)課題。該框架采用基于B/S模式的組件技術(shù)，在保證良好對(duì)外接口的前提下，將絕大部分的業(yè)務(wù)邏輯處理部署在服務(wù)器上，提供通用的網(wǎng)絡(luò)服務(wù)，實(shí)現(xiàn)了數(shù)據(jù)清洗及轉(zhuǎn)換的通用操作。 該框架支持多種源數(shù)據(jù)類型，支持海量數(shù)據(jù)的批量處理，并根據(jù)數(shù)據(jù)自身

3、特點(diǎn)提供速率優(yōu)化，長事務(wù)進(jìn)度指示及各種日志記錄等功能，不但可以直接作用于小規(guī)模系統(tǒng)，并且可以作為通用的底層框架針對(duì)特定領(lǐng)域進(jìn)行二次開發(fā)，通過擴(kuò)展自定義接口完成某一具體領(lǐng)域?qū)Ｓ械臄?shù)據(jù)清洗及轉(zhuǎn)換功能。整個(gè)處理流程可以在任何需要進(jìn)行數(shù)據(jù)清洗及轉(zhuǎn)換的數(shù)據(jù)源端進(jìn)行，而不是局限于某個(gè)指定的ETL服務(wù)器上，這樣在減輕了ETL服務(wù)器負(fù)擔(dān)的同時(shí)，有效地利用了閑置資源。當(dāng)業(yè)務(wù)需求發(fā)生變動(dòng)時(shí)，只需要更新服務(wù)器既可，客戶端不需任何改變，從而提供良好的可擴(kuò)展性和