基于分區(qū)的分布式達夢數(shù)據(jù)交換平臺(DMETL)的研究.pdf

1、當(dāng)前數(shù)據(jù)的結(jié)構(gòu)愈加復(fù)雜，分布更為廣泛，促進了分布式ETL工具的發(fā)展。達夢數(shù)據(jù)交換平臺（DMETL）是高性能的流式ETL工具，它的集群特性支持ETL流程的分布式執(zhí)行。對于分布式ETL工具，對ETL活動節(jié)點分區(qū)是ETL并行優(yōu)化策略的一種，可以提高并發(fā)度，但是容易產(chǎn)生較大的網(wǎng)絡(luò)開銷。而對ETL流程進行合理劃分能夠減小網(wǎng)絡(luò)開銷，提高資源利用率，因此基于分布式達夢數(shù)據(jù)交換平臺對ETL流程的分區(qū)問題進行研究是很有意義的。
　　首先，介紹了分布

2、式達夢數(shù)據(jù)交換平臺的總體結(jié)構(gòu)，描述了ETL流程在流程執(zhí)行引擎中的執(zhí)行過程，并對其中的關(guān)鍵模塊：執(zhí)行引擎模塊、元數(shù)據(jù)庫模塊、服務(wù)監(jiān)聽模塊和集群管理模塊進行了介紹。元數(shù)據(jù)模塊可以獲取ETL流程的活動信息，執(zhí)行引擎中負責(zé)進行解析和分區(qū)，遠程服務(wù)監(jiān)聽模塊可用于遠程執(zhí)行子分區(qū)流程，集群模塊為流程分布式執(zhí)行提供可靠性保證。
　　然后，研究DMETL活動節(jié)點的劃分問題和ETL流程分區(qū)問題。對于活動節(jié)點分區(qū)，實現(xiàn)了多種節(jié)點分區(qū)策略；對于流程分區(qū)，