高可靠性動(dòng)態(tài)群集數(shù)據(jù)集成系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著企業(yè)中信息技術(shù)的應(yīng)用日益廣泛，信息系統(tǒng)在企業(yè)發(fā)展過(guò)程中不斷被建立和完善。就大型企業(yè)和政府部門(mén)的信息化進(jìn)程來(lái)說(shuō)，其信息系統(tǒng)的建設(shè)通常具有兩個(gè)特點(diǎn)：分布性和階段性，因而導(dǎo)致了“信息孤島（Information Silo）”現(xiàn)象的發(fā)生。數(shù)據(jù)集成技術(shù)（也被稱(chēng)為ETL技術(shù)）作為一種解決“信息孤島”問(wèn)題的方案，負(fù)責(zé)將不同特點(diǎn)、來(lái)源及格式的數(shù)據(jù)在物理上或邏輯上有機(jī)地進(jìn)行集中，從而為企業(yè)提供全面的數(shù)據(jù)共享。經(jīng)過(guò)多年的發(fā)展，數(shù)據(jù)集成技術(shù)在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域

2、已經(jīng)有了比較廣泛的應(yīng)用。近年來(lái)，隨著大數(shù)據(jù)、云計(jì)算技術(shù)的興起，企業(yè)對(duì)數(shù)據(jù)的依賴(lài)進(jìn)一步加深，獲取信息的來(lái)源較之以往更加多樣化，如移動(dòng)設(shè)備，因特網(wǎng)等，與此同時(shí)，對(duì)海量異構(gòu)數(shù)據(jù)進(jìn)行集成的問(wèn)題也受到了人們?cè)絹?lái)越多的關(guān)注。
　　現(xiàn)有數(shù)據(jù)集成架構(gòu)基本能夠滿(mǎn)足功能和易用性上的需求，但是在大數(shù)據(jù)環(huán)境下，其效率、可靠性、可擴(kuò)展性都沒(méi)有得到很好的解決，因此本文著眼于ETL工作流的并發(fā)執(zhí)行和基于事務(wù)的ETL數(shù)據(jù)處理，對(duì)現(xiàn)有數(shù)據(jù)集成架構(gòu)進(jìn)行改造，提出了高

3、可靠性群集數(shù)據(jù)集成系統(tǒng)架構(gòu)。
　　本課題首先研究了開(kāi)源流處理平臺(tái)Storm的整體框架，然后分析了使用Storm進(jìn)行ETL數(shù)據(jù)流處理所具備的優(yōu)勢(shì)以及還需要解決的問(wèn)題，并在此基礎(chǔ)上提出了一套基于群集計(jì)算的高可靠數(shù)據(jù)集成系統(tǒng)架構(gòu)。為了并發(fā)執(zhí)行ETL工作流，我們結(jié)合它的特點(diǎn)提出了ETL數(shù)據(jù)分組方法和ETL工作流并行化方法，并解決了ETL工作流并發(fā)執(zhí)行時(shí)所需的數(shù)據(jù)緩存關(guān)鍵技術(shù)。針對(duì)ETL數(shù)據(jù)處理的可靠性問(wèn)題，我們結(jié)合Storm平臺(tái)所提供的消