數(shù)據(jù)倉庫建設(shè)方案

1、Page2of71.數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫概述經(jīng)過多年IT的建設(shè)，信息對(duì)于XXX的日常管理已經(jīng)日益重要，并逐漸成為重要的信息資產(chǎn)，信息資產(chǎn)的管理已經(jīng)成為日常管理中一個(gè)非常重要的環(huán)節(jié)。如何管理和利用好XXX內(nèi)部紛繁的數(shù)據(jù)也越來越成為信息管理的一項(xiàng)重要工作。在過去相當(dāng)一段時(shí)間內(nèi)，XXX業(yè)務(wù)系統(tǒng)的構(gòu)建主要圍繞著業(yè)務(wù)的數(shù)據(jù)展開，應(yīng)用的構(gòu)建多是自下而上構(gòu)建，主要以滿足某個(gè)部門的業(yè)務(wù)功能為主，我們稱之為業(yè)務(wù)處理的時(shí)代。這樣的構(gòu)建方式造成了一個(gè)個(gè)分立的

2、應(yīng)用，分立的應(yīng)用導(dǎo)致了一個(gè)個(gè)的靜態(tài)豎井。由于數(shù)據(jù)從屬于應(yīng)用，缺乏XXX全局的單一視圖，形成了一個(gè)個(gè)信息孤島，分立的系統(tǒng)之間缺乏溝通，同樣數(shù)據(jù)的孤島導(dǎo)致只能獲得片面的信息，而不是全局的單一視圖。存儲(chǔ)這些信息的載體可能是各種異構(gòu)或同構(gòu)的關(guān)系型數(shù)據(jù)庫，也有可能是XML、EXCEL等文件。因此，構(gòu)建新一代的一體化平臺(tái)提上了日程并最終促成全域數(shù)據(jù)的管理方式，目的是覆蓋XXX各個(gè)環(huán)節(jié)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，完善元數(shù)據(jù)管理，形成全局的數(shù)據(jù)字典、業(yè)務(wù)數(shù)據(jù)規(guī)范和

3、統(tǒng)一的業(yè)務(wù)指標(biāo)含義，能夠靈活的獲取XXX業(yè)務(wù)數(shù)據(jù)的單一視圖（需要保證數(shù)據(jù)的一致性、完整性、準(zhǔn)確性和及時(shí)性）。數(shù)據(jù)的交換和共享主要發(fā)生在上下級(jí)組織機(jī)構(gòu)之間或同級(jí)的不同部門之間。最終，這些數(shù)據(jù)可以為部隊(duì)分析、決策支持（多維分析、即席查詢、數(shù)據(jù)挖掘）等應(yīng)用提供更及時(shí)、準(zhǔn)確、有效的支持。數(shù)據(jù)倉庫的目標(biāo)是實(shí)現(xiàn)跨系統(tǒng)數(shù)據(jù)共享，解決信息孤島，提升數(shù)據(jù)質(zhì)量，輔助決策分析，提供統(tǒng)一的數(shù)據(jù)服務(wù)。同時(shí)，數(shù)據(jù)倉庫的構(gòu)建也面臨著各種挑戰(zhàn)，比如信息整合在技術(shù)上的復(fù)

4、雜度、信息整合的管理成本、數(shù)據(jù)資源的獲取、信息整合的實(shí)施周期以及整合項(xiàng)目的風(fēng)險(xiǎn)等。Page4of7了數(shù)據(jù)的完整性和及時(shí)性。信息服務(wù)主要使用兩種技術(shù)來完成這一功能：聯(lián)邦和復(fù)制。通過聯(lián)邦功能可以把關(guān)系數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)（如Excel文件、XML文件、Web搜索引擎、MQ查詢和內(nèi)容源）組成一個(gè)邏輯數(shù)據(jù)庫，對(duì)這些數(shù)據(jù)源中的表可以像操作本地?cái)?shù)據(jù)庫表一樣進(jìn)行操作，而不必關(guān)心我們操作的這些數(shù)據(jù)底層是什么數(shù)據(jù)源，物理在什么位置。而針對(duì)大數(shù)據(jù)量的數(shù)據(jù)訪問

5、或高并發(fā)的訪問，通常將源數(shù)據(jù)增量實(shí)時(shí)復(fù)制到本地，復(fù)制的實(shí)現(xiàn)是基于對(duì)源數(shù)據(jù)庫的日志進(jìn)行捕獲，獲取增量數(shù)據(jù)，并基于消息的機(jī)制將其復(fù)制到目的數(shù)據(jù)庫，復(fù)制的過程中可以實(shí)現(xiàn)數(shù)據(jù)的合并、拆分、轉(zhuǎn)換等操作。信息服務(wù)總線主要完成數(shù)據(jù)的分析、清洗（標(biāo)準(zhǔn)化）、轉(zhuǎn)換、加載等工作。數(shù)據(jù)清洗，主要是去除冗余數(shù)據(jù)，將零散字段合并成全局記錄，并解決重疊和矛盾的數(shù)據(jù)，然后通過添加關(guān)系和層次結(jié)構(gòu)完善豐富信息。首先面臨的挑戰(zhàn)就是如何更有效的識(shí)別現(xiàn)有的業(yè)務(wù)系統(tǒng)，包括業(yè)務(wù)系統(tǒng)

6、使用的分類方法、層次結(jié)構(gòu)、數(shù)據(jù)分布、數(shù)據(jù)字典等。如果數(shù)據(jù)字典不完整或缺失，就要通過方法找出其數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)以及各個(gè)表之間的主外鍵關(guān)聯(lián)、各表之間的轉(zhuǎn)換關(guān)系等，同樣，數(shù)據(jù)的分布情況同樣可以使用分析功能來完成。在對(duì)現(xiàn)有數(shù)據(jù)足夠了解的基礎(chǔ)上（完成了數(shù)據(jù)的分析），接下來就要制定數(shù)據(jù)的清洗規(guī)則以及轉(zhuǎn)換規(guī)則，其中，清洗規(guī)則又分為兩種情況，一種清洗規(guī)則是明確的，另一種清洗規(guī)則是模糊的，比如不同系統(tǒng)中存儲(chǔ)的地址信息，“南京市定淮門大街9號(hào)”和“江蘇省南京

7、市下關(guān)區(qū)定淮門大街9號(hào)”實(shí)際上是一個(gè)地址，但計(jì)算機(jī)會(huì)當(dāng)成兩個(gè)地址來處理。概率匹配功能和動(dòng)態(tài)權(quán)重策略可以匹配創(chuàng)建高質(zhì)量、準(zhǔn)確的數(shù)據(jù)，并在整個(gè)數(shù)據(jù)域中一致地識(shí)別核心業(yè)務(wù)信息，如人名、位置、和時(shí)間。數(shù)據(jù)清洗、轉(zhuǎn)換、加載服務(wù)對(duì)保障數(shù)據(jù)的準(zhǔn)確性和一致性非常重要。在不同的系統(tǒng)中，對(duì)同一業(yè)務(wù)會(huì)使用不同的分類方法，同樣，數(shù)據(jù)的類別和層次結(jié)構(gòu)也會(huì)不同。需要通過數(shù)據(jù)清洗、轉(zhuǎn)換、加載層實(shí)現(xiàn)對(duì)這些信息格式的轉(zhuǎn)換，匹配成通用的信息格式和分類方法，以便提供整個(gè)XX

8、X業(yè)務(wù)層面聚合的業(yè)務(wù)視圖。實(shí)際證明一體化平臺(tái)（一期）的全域數(shù)據(jù)梳理中，手工統(tǒng)計(jì)可以完成這項(xiàng)工作但不夠好，不夠直觀和沒有擴(kuò)展延續(xù)能力。數(shù)據(jù)清洗、轉(zhuǎn)換、加載工作對(duì)未來數(shù)據(jù)的使用非常重要，即使有工具幫助，工作量依然很大。雖然，開始的時(shí)候，這項(xiàng)工作看起來費(fèi)時(shí)費(fèi)力，但從長遠(yuǎn)來看，它使得基于這些數(shù)據(jù)的業(yè)務(wù)流程和統(tǒng)一數(shù)據(jù)視圖實(shí)現(xiàn)自動(dòng)化，并減少了人為干預(yù)不準(zhǔn)確或不一致數(shù)據(jù)的努力，從而節(jié)省了大量成本。XXX層面的單一視圖一經(jīng)建立，其維護(hù)必將是一個(gè)持續(xù)進(jìn)行