2、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(shù)

1、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)數(shù)據(jù)倉庫－數(shù)據(jù)挖掘的有效平臺數(shù)據(jù)倉庫中的數(shù)據(jù)清理和數(shù)據(jù)集成，是數(shù)據(jù)挖掘的重要數(shù)據(jù)預(yù)處理步驟數(shù)據(jù)倉庫提供OLAP工具，可用于不同粒度的數(shù)據(jù)分析很多數(shù)據(jù)挖掘功能都可以和OLAP操作集成，以提供不同概念層上的知識發(fā)現(xiàn)分類預(yù)測關(guān)聯(lián)聚集什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫的定義很多，但卻很難有一種嚴(yán)格的定義它是一個提供決策支持功能的數(shù)據(jù)庫，它與公司的操作數(shù)據(jù)庫分開維護(hù)。為統(tǒng)一的歷史數(shù)據(jù)分析提供堅實的平臺，對信息處理提供支持?jǐn)?shù)據(jù)倉

2、庫區(qū)別于其他數(shù)據(jù)存儲系統(tǒng)“數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策過程.”—W.H.Inmon數(shù)據(jù)倉庫關(guān)鍵特征一——面向主題面向主題，是數(shù)據(jù)倉庫顯著區(qū)別于關(guān)系數(shù)據(jù)庫系統(tǒng)的一個特征圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機構(gòu)的日常操作和事務(wù)處理。排除對于決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。數(shù)據(jù)倉庫關(guān)鍵特征二——數(shù)據(jù)集成一個數(shù)據(jù)倉庫是通過集成多個異

3、種數(shù)據(jù)源來構(gòu)造的。關(guān)系數(shù)據(jù)庫，一般文件，聯(lián)機事務(wù)處理記錄使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。當(dāng)數(shù)據(jù)被移到數(shù)據(jù)倉庫時，它們要經(jīng)過轉(zhuǎn)化。數(shù)據(jù)倉庫關(guān)鍵特征三——隨時間而變化數(shù)據(jù)倉庫是從歷史的角度提供信息數(shù)據(jù)倉庫的時間范圍比操作數(shù)據(jù)庫系統(tǒng)要長的多。操作數(shù)據(jù)庫系統(tǒng):主要保存當(dāng)前數(shù)據(jù)。數(shù)據(jù)倉庫:從歷史的角度提供信息（比如過去510年）數(shù)據(jù)倉庫中的每一個關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時間元素，而操作數(shù)據(jù)庫中的關(guān)鍵結(jié)構(gòu)可

4、能就不包括時間元素。數(shù)據(jù)倉庫關(guān)鍵特征四——數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉庫中的數(shù)據(jù)來自于操作數(shù)據(jù)庫，但他們卻是在物理上分離保存的。操作數(shù)據(jù)庫的更新操作不會出現(xiàn)在數(shù)據(jù)倉庫環(huán)境下。不需要事務(wù)處理，恢復(fù)，和并發(fā)控制等機制只需要兩種數(shù)據(jù)訪問:數(shù)據(jù)的初始轉(zhuǎn)載和數(shù)據(jù)訪問（讀操作）數(shù)據(jù)倉庫的構(gòu)建與使用數(shù)據(jù)倉庫的構(gòu)建包括一系列的數(shù)據(jù)預(yù)處理過程數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)倉庫的使用熱點是商業(yè)決策行為，例如：增加客戶聚焦產(chǎn)品重定位尋找獲利點客戶關(guān)系管理數(shù)據(jù)倉庫與異

5、種數(shù)據(jù)庫集成異種數(shù)據(jù)庫的集成方法傳統(tǒng)的異種數(shù)據(jù)庫集成:（查詢驅(qū)動）在多個異種數(shù)據(jù)庫上建立包裝程序（wrappers）和中介程序（mediats）查詢驅(qū)動方法——當(dāng)從客戶端傳過來一個查詢時，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器數(shù)據(jù)倉庫:（更新驅(qū)動）將來自多個異種源的信息預(yù)先集成，并存儲在數(shù)據(jù)倉庫中，供直接查詢和分析查詢驅(qū)動方法和更新驅(qū)動方法的比較查詢驅(qū)動的方法需要負(fù)責(zé)的信息過濾和

6、集成處理與局部數(shù)據(jù)源上的處理競爭資源對于頻繁的查詢，尤其是涉及聚集（匯總）操作的查詢，開銷很大（決策支持中常見的查詢形式）更新驅(qū)動的方法（帶來高性能）數(shù)據(jù)經(jīng)預(yù)處理后單獨存儲，對聚集操作提供良好支持不影響局部數(shù)據(jù)源上的處理集成歷史信息，支持負(fù)責(zé)的多維查詢數(shù)據(jù)倉庫與操作數(shù)據(jù)庫系統(tǒng)操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機事務(wù)處理OLTP日常操作:購買，庫存，銀行，制造，工資，注冊，記帳等數(shù)據(jù)倉庫的主要任務(wù)是聯(lián)機分析處理OLAP數(shù)據(jù)分析和決策支持，支持以

7、不同的形式顯示數(shù)據(jù)以滿足不同的用戶需要OLAPVS.OLTP(1)用戶和系統(tǒng)的面向性面向顧客（事務(wù)）VS.面向市場（分析）數(shù)據(jù)內(nèi)容當(dāng)前的、詳細(xì)的數(shù)據(jù)VS.歷史的、匯總的數(shù)據(jù)數(shù)據(jù)庫設(shè)計實體－聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計VS.星型雪花模型和面向主題的數(shù)據(jù)庫設(shè)計OLAPVS.OLTP(2)數(shù)據(jù)視圖當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù)VS.經(jīng)過演化的、集成的數(shù)據(jù)訪問模式事務(wù)操作VS.只讀查詢（但很多是復(fù)雜的查詢）任務(wù)單位簡短的事務(wù)VS.復(fù)雜的查詢訪

8、問數(shù)據(jù)量數(shù)十個VS.數(shù)百萬個OLAPVS.OLTP(3)用戶數(shù)數(shù)千個VS.數(shù)百個數(shù)據(jù)庫規(guī)模100M數(shù)GBVS.100GB數(shù)TB設(shè)計優(yōu)先性高性能、高可用性VS.高靈活性、端點用戶自治度量事務(wù)吞吐量VS.查詢吞吐量、響應(yīng)時間更多的區(qū)別見教科書P28，表21為什么需要一個分離的數(shù)據(jù)倉庫提高兩個系統(tǒng)的性能DBMS是為OLTP而設(shè)計的：存儲方式索引并發(fā)控制恢復(fù)數(shù)據(jù)倉庫是為OLAP而設(shè)計：復(fù)雜的OLAP查詢多維視圖，匯總不同的功能和不同的數(shù)據(jù):歷史

9、數(shù)據(jù):決策支持需要歷史數(shù)據(jù)，而這些數(shù)據(jù)在操作數(shù)據(jù)庫中一般不會去維護(hù)數(shù)據(jù)匯總：決策支持需要將來自異種源的數(shù)據(jù)統(tǒng)一（如聚集和匯總）數(shù)據(jù)質(zhì)量:不同的源使用不一致的數(shù)據(jù)表示、編碼和格式，對這些數(shù)據(jù)進(jìn)行有效的分析需要將他們轉(zhuǎn)化后進(jìn)行集成多維數(shù)據(jù)模型(1)數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型在多維數(shù)據(jù)模型中，數(shù)據(jù)以數(shù)據(jù)立方體(datacube)的形式存在數(shù)據(jù)立方體允許以多維數(shù)據(jù)建模和觀察。它由維和事實定義維是關(guān)于一個組織想要記錄的視角或觀點。每個

10、維都有一個表與之相關(guān)聯(lián)，稱為維表。多維數(shù)據(jù)模型圍繞中心主題組織，該主題用事實表表示事實表包括事實的名稱或度量以及每個相關(guān)維表的關(guān)鍵字事實指的是一些數(shù)字度量多維數(shù)據(jù)模型(2)——示例time_keydayday_of_the_weekmonthquarteryeartime維表location_keystreetcitystate__provincecountrylocation事實表Sales事實表time_keyitem_keybra

11、nch_keylocation_keyunits_solddollars_soldavg_sales度量item_keyitem_namebrtypesupplier_typeitem維表branch_keybranch_namebranch_typebranch維表多維數(shù)據(jù)模型(3)在數(shù)據(jù)倉庫中，數(shù)據(jù)立方體是nD的(n維）（關(guān)系表和電子表格是幾維的？）示例AllElectronics的銷售數(shù)據(jù)按維timeitem的2D視圖(P30表2

12、2)AllElectronics的銷售數(shù)據(jù)按維timeitem和location的3D視圖(P30表23)AllElectronics的銷售數(shù)據(jù)按維timeitem和location的3D視圖的3D數(shù)據(jù)立方體表示(P31圖21)銷售數(shù)據(jù)的4D立方體表示(P31圖22)多維數(shù)據(jù)模型為不同角度上的數(shù)據(jù)建模和觀察提供了一個良好的基礎(chǔ)多維數(shù)據(jù)模型(4)在數(shù)據(jù)倉庫的研究文獻(xiàn)中，一個n維的數(shù)據(jù)的立方體叫做基本方體。給定一個維的集合，我們可以構(gòu)造一個

13、方體的格，每個都在不同的匯總級或不同的數(shù)據(jù)子集顯示數(shù)據(jù)，方體的格稱為數(shù)據(jù)立方體。0維方體存放最高層的匯總，稱作頂點方體；而存放最底層匯總的方體則稱為基本方體。數(shù)據(jù)立方體——一個方體的格alltimeitemlocationsuppliertimeitemtimelocationtimesupplieritemlocationitemsupplierlocationsuppliertimeitemlocationtimeitemsuppl

14、iertimelocationsupplieritemlocationsuppliertimeitemlocationsupplier0D(頂點)方體1D方體2D方體3D方體4D(基本)方體數(shù)據(jù)倉庫的概念模型最流行的數(shù)據(jù)倉庫概念模型是多維數(shù)據(jù)模型。這種模型可以以星型模式、雪花模式、或事實星座模式的形式存在。星型模式（Starschema）:事實表在中心，周圍圍繞地連接著維表（每維一個），事實表含有大量數(shù)據(jù)，沒有冗余。雪花模式（Snowf

15、lakeschema）:是星型模式的變種，其中某些維表是規(guī)范化的，因而把數(shù)據(jù)進(jìn)一步分解到附加表中。結(jié)果，模式圖形成類似于雪花的形狀。事實星座（Factconstellations）:多個事實表共享維表這種模式可以看作星型模式集，因此稱為星系模式（galaxyschema），或者事實星座（factconstellation）星型模式實例SalesFactTabletime_keyitem_keybranch_keylocation_key

16、units_solddollars_soldavg_salesMeasures雪花模式實例SalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasures事實星座模式實例SalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldav

17、g_salesMeasuresShippingFactTabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shipped一種數(shù)據(jù)挖掘查詢語言:DMQLDMQL首先包括定義數(shù)據(jù)倉庫和數(shù)據(jù)集市的語言原語，這包括兩種原語定義：一種是立方體定義，一種是維定義立方體定義(事實表)definecube[]:維定義(維表)definedimensionas

18、()特殊案例(共享維表的定義)第一次作為維表定義“cubedefinition”然后：definedimensionasincube實例：使用DMQL定義星型模式definecubesales_star[timeitembranchlocation]:dollars_sold=sum(sales_in_dollars)avg_sales=avg(sales_in_dollars)units_sold=count()definedimen

19、siontimeas(time_keydayday_of_weekmonthquarteryear)definedimensionitemas(item_keyitem_namebrtypesupplier_type)definedimensionbranchas(branch_keybranch_namebranch_type)definedimensionlocationas(location_keystreetcityprovin

20、ce__statecountry)實例：使用DMQL定義雪花模式definecubesales_snowflake[timeitembranchlocation]:dollars_sold=sum(sales_in_dollars)avg_sales=avg(sales_in_dollars)units_sold=count()definedimensiontimeas(time_keydayday_of_weekmonthquarte

21、ryear)definedimensionitemas(item_keyitem_namebrtypesupplier(supplier_keysupplier_type))definedimensionbranchas(branch_keybranch_namebranch_type)definedimensionlocationas(location_keystreetcity(city_keyprovince__statecoun

22、try))實例：使用DMQL定義事實星座模式definecubesales[timeitembranchlocation]:dollars_sold=sum(sales_in_dollars)avg_sales=avg(sales_in_dollars)units_sold=count()definedimensiontimeas(time_keydayday_of_weekmonthquarteryear)definedimensio

23、nitemas(item_keyitem_namebrtypesupplier_type)definedimensionbranchas(branch_keybranch_namebranch_type)definedimensionlocationas(location_keystreetcityprovince__statecountry)definecubeshipping[timeitemshipperfrom_location

24、to_location]:dollar_cost=sum(cost_in_dollars)unit_shipped=count()definedimensiontimeastimeincubesalesdefinedimensionitemasitemincubesalesdefinedimensionshipperas(shipper_keyshipper_namelocationaslocationincubesalesshippe

25、r_type)definedimensionfrom_locationaslocationincubesalesdefinedimensionto_locationaslocationincubesales度量的分類一個數(shù)據(jù)立方體的度量是一個數(shù)值函數(shù)，該函數(shù)可以對數(shù)據(jù)立方體的每一個點求值。(剛才的示例中用的是什么函數(shù)？)度量可以根據(jù)其所用的聚集函數(shù)分為三類：分布的(distributive)：將函數(shù)用于n個聚集值得到的結(jié)果和將函數(shù)用于所

26、有數(shù)據(jù)得到的結(jié)果一樣。比如：count()，sum()，min()，max()等代數(shù)的(algebraic)：函數(shù)可以由一個帶M個參數(shù)的代數(shù)函數(shù)計算（M為有界整數(shù)），而每個參數(shù)值都可以有一個分布的聚集函數(shù)求得。比如：avg()，min_N()，stard_deviation()整體的(holistic)：描述函數(shù)的子聚集所需的存儲沒有一個常數(shù)界。比如：median()，mode()，rank()56王燦數(shù)據(jù)挖掘.0703004概念分層(

27、1)一個概念分層（concepthierarchy）定義一個映射序列，將低層概念映射到更一般的高層概念E.g.表示location的概念：杭州?浙江?中國?亞洲概念分層允許我們在各種抽象級審查和處理數(shù)據(jù)概念分層可以由系統(tǒng)用戶、領(lǐng)域?qū)＜?、知識工程師人工的提供，也可以根據(jù)數(shù)據(jù)分布的統(tǒng)計分析自動的產(chǎn)生概念分層(2):location維的一個概念分層allEuropeNth_AmericaMexicoCanadaSpainGermanyVanc

28、ouverM.WindL.Chan..................allregionofficecountryTontoFrankfurtcity許多概念分層的定義隱含在數(shù)據(jù)庫的模式中。比如：location維的定義，officecitycountryregion；這些屬性按一個全序相關(guān)，形成一個層次結(jié)構(gòu)：yeardayquartermonthweek維的屬性也可以組成一個偏序，形成一個格：概念分層(3)——使用概念分層為不同級別上

29、的數(shù)據(jù)匯總提供了一個良好的基礎(chǔ)綜合概念分層和多維數(shù)據(jù)模型的潛力，可以對數(shù)據(jù)獲得更深入的洞察力通過在多維數(shù)據(jù)模型中，在不同的維上定義概念分層，使得用戶在不同的維上從不同的層次對數(shù)據(jù)進(jìn)行觀察成為可能。多維數(shù)據(jù)模型（數(shù)據(jù)立方體）使得從不同的角度對數(shù)據(jù)進(jìn)行觀察成為可能，而概念分層則提供了從不同層次對數(shù)據(jù)進(jìn)行觀察的能力；結(jié)合這兩者的特征，我們可以在多維數(shù)據(jù)模型上定義各種OLAP操作，為用戶從不同角度不同層次觀察數(shù)據(jù)提供了靈活性：多維數(shù)據(jù)模型上的O

30、LAP操作(1)上卷(rollup):匯總數(shù)據(jù)通過一個維的概念分層向上攀升或者通過維規(guī)約當(dāng)用維歸約進(jìn)行上卷時，一個或多個維由給定的數(shù)據(jù)立方體刪除下鉆(drilldown)：上卷的逆操作由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)，可以通過沿維的概念分層向下或引入新的維來實現(xiàn)(為給定數(shù)據(jù)添加更多細(xì)節(jié))切片和切塊(slicedice)切片操作在給定的數(shù)據(jù)立方體的一個維上進(jìn)行選擇，導(dǎo)致一個子方切塊操作通過對兩個或多個維進(jìn)行選擇，定義子方P40圖210多維數(shù)

31、據(jù)模型上的OLAP操作(2)轉(zhuǎn)軸(pivot)立方體的重定位，可視化，或?qū)⒁粋€3維立方體轉(zhuǎn)化為一個2維平面序列轉(zhuǎn)軸是一種可視化操作，通過轉(zhuǎn)動當(dāng)前數(shù)據(jù)的視圖來提供一個數(shù)據(jù)的替代表示其他OLAP操作鉆過(drill_across)：執(zhí)行涉及多個事實表的查詢鉆透(drill_through)：使用關(guān)系SQL機制，鉆到數(shù)據(jù)立方體的底層，到后端關(guān)系表其他OLAP操作可能包括列出表中最高或最低的N項，以及計算移動平均值、增長率、利潤、統(tǒng)計函數(shù)等等P

32、40圖210數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架(1)數(shù)據(jù)倉庫給商業(yè)分析專家提供了什么？通過提供相關(guān)數(shù)據(jù)與信息，獲得競爭優(yōu)勢通過有效的收集精確的描述組織的數(shù)據(jù)，獲得生產(chǎn)力的提高通過提供不同級別（部門、市場、商業(yè)）的客戶視圖，協(xié)助客戶關(guān)系管理通過追蹤長期趨勢、異常等，降低成本有效構(gòu)建數(shù)據(jù)倉庫的關(guān)鍵：理解和分析商業(yè)需求通過提供一個商業(yè)分析框架，綜合各種不同的數(shù)據(jù)使用者的視圖數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架(2)數(shù)據(jù)倉庫設(shè)計的四種視圖自頂向下視圖允許

33、我們選擇數(shù)據(jù)倉庫所需的相關(guān)信息數(shù)據(jù)源視圖揭示被操作數(shù)據(jù)庫系統(tǒng)所捕獲、存儲和管理的信息數(shù)據(jù)倉庫視圖由事實表和維表所組成商務(wù)查詢視圖從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù)數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架(3)數(shù)據(jù)倉庫的構(gòu)建與使用涉及多種技能商業(yè)技能理解系統(tǒng)如何存儲和管理數(shù)據(jù)數(shù)據(jù)如何提取數(shù)據(jù)如何刷新技術(shù)方面的技能如何通過使用各種數(shù)據(jù)或量化的信息，到處可以提供決策支持的模式、趨勢、判斷等如何通過審查歷史數(shù)據(jù)，分析發(fā)展趨勢等計劃管理技能如何通過與不同

34、的技術(shù)、廠商、用戶交互，來及時、有效、經(jīng)濟(jì)的提交結(jié)果數(shù)據(jù)倉庫的設(shè)計過程(1)自頂向下法、自底向上法或者兩者的混合方法自頂向下法：由總體設(shè)計和規(guī)劃開始在技術(shù)成熟、商業(yè)理解透徹的情況下使用自底向上法：以實驗和原型開始常用在模型和技術(shù)開發(fā)的初期，可以有效的對使用的技術(shù)和模型進(jìn)行評估，降低風(fēng)險混合方法：上述兩者的結(jié)合從軟件過程的觀點瀑布式方法：在進(jìn)行下一步前，每一步都進(jìn)行結(jié)構(gòu)化和系統(tǒng)的分析螺旋式方法：功能漸增的系統(tǒng)的快速產(chǎn)生，相繼版本之間間隔很

35、短數(shù)據(jù)倉庫的設(shè)計過程(2)典型的數(shù)據(jù)倉庫設(shè)計過程選取待建模的商務(wù)過程找到所構(gòu)建的數(shù)據(jù)倉庫的主題，比如：銷售、貨運、訂單等等選取商務(wù)過程的顆粒度數(shù)據(jù)起始于多細(xì)的顆粒度，比如：記錄每條詳細(xì)訂單，或是開始于每日的匯總數(shù)據(jù)選取用于每個事實表記錄的維常用的維有：時間、貨物、客戶、供應(yīng)商等選取將安放在事實表中的度量常用的數(shù)字度量包括：售價、貨物數(shù)量等三層數(shù)據(jù)倉庫架構(gòu)(1)數(shù)據(jù)倉庫OLAP服務(wù)器查詢報告分析數(shù)據(jù)挖掘監(jiān)控、整合元數(shù)據(jù)存儲數(shù)據(jù)源前端工具輸

36、出數(shù)據(jù)集市數(shù)據(jù)倉庫服務(wù)器OLAP服務(wù)器三層數(shù)據(jù)倉庫架構(gòu)(2)底層：數(shù)據(jù)倉庫的數(shù)據(jù)庫服務(wù)器關(guān)注的問題：如何從這一層提取數(shù)據(jù)來構(gòu)建數(shù)據(jù)倉庫（通過Gateway（ODBCJDBCOLEDB等）來提?。┲虚g層：OLAP服務(wù)器關(guān)注的問題：OLAP服務(wù)器如何實施（關(guān)系型OLAP，多維OLAP等）前端客戶工具層關(guān)注的問題：查詢工具、報表工具、分析工具、挖掘工具等三種數(shù)據(jù)倉庫模型從體系結(jié)構(gòu)的角度去看，數(shù)據(jù)倉庫模型可以有以下三種：企業(yè)倉庫搜集關(guān)于跨越整個

37、組織的主題的所有信息數(shù)據(jù)集市企業(yè)范圍數(shù)據(jù)的一個子集，對于特定的客戶是有用的。其范圍限于選定的主題，比如一個商場的數(shù)據(jù)集市獨立的數(shù)據(jù)集市VS.非獨立的數(shù)據(jù)集市（數(shù)據(jù)來自于企業(yè)數(shù)據(jù)倉庫）虛擬倉庫操作數(shù)據(jù)庫上的一系列視圖只有一些可能的匯總視圖被物化數(shù)據(jù)倉庫開發(fā)：困難與方法數(shù)據(jù)倉庫開發(fā)上的困難自頂向下的開發(fā)方法從全系統(tǒng)的角度提供解決方案，使得（模塊）集成的問題最??；但是該方法十分昂貴，需要對組織進(jìn)行長期研究和建模分析。自底向上方法提供了更多的開

38、發(fā)靈活性，價格便宜；但往往會遇到集成問題（每個模塊單獨運行都沒有問題，但是一集成就出異常）解決方法：使用遞增性、演化性的開發(fā)方法高層數(shù)據(jù)模型?企業(yè)倉庫和數(shù)據(jù)集市并行開發(fā)?通過分布式模型集成各數(shù)據(jù)集市?多層數(shù)據(jù)倉庫數(shù)據(jù)倉庫開發(fā)——一個推薦的方法定義高層數(shù)據(jù)模型數(shù)據(jù)集市數(shù)據(jù)集市分布式數(shù)據(jù)集市多層數(shù)據(jù)倉庫企業(yè)數(shù)據(jù)倉庫模型提煉模型提煉OLAP服務(wù)器類型(1)邏輯上，OLAP服務(wù)器從數(shù)據(jù)倉庫或數(shù)據(jù)集市中給商業(yè)用戶提供多維數(shù)據(jù)物理上，OLAP的底層

39、數(shù)據(jù)存儲實現(xiàn)可以有多種不同的方式關(guān)系OLAP服務(wù)器(ROLAP)使用關(guān)系數(shù)據(jù)庫或擴展的關(guān)系數(shù)據(jù)庫存放并管理數(shù)據(jù)倉庫的數(shù)據(jù)，而用OLAP中間件支持其余部分包括每個DBMS后端優(yōu)化，聚集導(dǎo)航邏輯的實現(xiàn)，附加的工具和服務(wù)較大的可擴展性O(shè)LAP服務(wù)器類型(2)多維OLAP服務(wù)器(MOLAP)基于數(shù)組的多維存儲引擎（稀疏矩陣技術(shù)）能對預(yù)計算的匯總數(shù)據(jù)快速索引混合OLAP服務(wù)器(HOLAP)結(jié)合上述兩種技術(shù)，更大的使用靈活性特殊的SQL服務(wù)器在星型

40、和雪花模型上支持SQL查詢數(shù)據(jù)倉庫的實現(xiàn)——數(shù)據(jù)立方體的有效計算數(shù)據(jù)倉庫中的OLAP查詢是一種海量數(shù)據(jù)計算（想象一下對過去10年各地區(qū)的軟件產(chǎn)品銷售的匯總查詢）用戶卻希望這個計算能在數(shù)秒鐘內(nèi)完成解決方法在于給出一種有效的計算數(shù)據(jù)立方體的方法數(shù)據(jù)立方體可以被看成是一個方體的格最底層的方體是基本方體最頂端的方體（頂點）只包含一個單元的值一個n維的數(shù)據(jù)立方體，每維L層，可能產(chǎn)生的方體總數(shù)是多少？方體的操作DMQL中的方體定義和計算define

41、cubesales[itemcityyear]:sum(sales_in_dollars)computecubesales上述的computecube子句可以轉(zhuǎn)化為一個類似于SQL的語句itemcityyearSUM(amount)FROMSALESCUBEBYitemcityyear這個相當(dāng)于SQL中以下的groupby子句(itemcityyear)–3D(itemcity)(itemyear)(cityyear)—2D(item)

42、(city)(year)—1D()0D數(shù)據(jù)立方體的物化數(shù)據(jù)立方體的物化可以有以下三種選擇：全物化預(yù)先計算所有方體不物化不預(yù)先計算任何“非基本”方體部分物化有選擇的計算一個所有方體的適當(dāng)子集考慮因素:(1)確定要物化的方體；(2)在查詢時利用物化的方體；(3)在裝載和刷新時，有效的更新物化的方體確定物化哪些方體考慮工作負(fù)荷下的查詢、它們的頻率和它們的開銷等等方體計算：ROLAPvs.MOLAP方體計算的挑戰(zhàn)：海量數(shù)據(jù)，有限的內(nèi)存和時間基于

43、ROLAP的方法（底層使用關(guān)系模型存儲數(shù)據(jù)）將排序、散列(hashing)和分組操作應(yīng)用于維的屬性，以便對相關(guān)元組重新排序和聚類在某些子聚集上分組，作為“部分分組步驟”?？梢杂梢郧坝嬎愕木奂嬎阈碌木奂?，而不必有基本事實表計算基于MOLAP方法（底層使用多維數(shù)組存儲數(shù)據(jù)）多路數(shù)組聚集的計算方法將數(shù)組切成塊（每個塊都可以整個裝入內(nèi)存）通過訪問各個塊來計算匯總值方體計算的多路數(shù)組聚集方法(1)將數(shù)組分成塊（chunk一個可以裝入內(nèi)存的小子方

44、）通過訪問立方體單元，計算聚集。可以優(yōu)化訪問單元組的次序，使得每個單元被訪問的次數(shù)最小化，從而減少內(nèi)存訪問和磁盤IO的開銷。A(month)40個值B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)4000個值B(city)400個值442856402452362060哪個是多路數(shù)組聚集的最佳遍歷次序？方體計算的多路數(shù)組聚集方法(2)B(city)

45、400方體計算的多路數(shù)組聚集方法(3)AB29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C442856402452362060B方體計算的多路數(shù)組聚集方法(4)方法：各平面要按他們大小的升序排列進(jìn)行排序和計算詳見書P50例2.12(P52圖216有誤）思想：將最小的平面放在內(nèi)存中，對最大的平面每次只是取并計算一塊方體計算的多路數(shù)組聚集方法(5)根據(jù)1到64的掃

46、描次序，在塊內(nèi)存中保存所有相關(guān)的2D平面所需的最小存儲為：40400（用于整個AB平面）＋401000（用于AC平面一行）＋1001000（用于BC平面一塊)＝156，000這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想(要計算的立方體隨維數(shù)指數(shù)增長)如果維的數(shù)目比較多，可以考慮使用“自底向上的計算”或者時“冰山方體”計算OLAP查詢的有效處理確定哪些操作應(yīng)當(dāng)在可利用的方體上執(zhí)行：將查詢中的選擇、投影、上卷和下鉆等操作轉(zhuǎn)化為對

47、應(yīng)的SQL或和OLAP操作，如：dice=ionprojection確定相關(guān)操作應(yīng)當(dāng)使用哪些物化的方體找尋MOLAP中可以利用的索引結(jié)構(gòu)以及壓縮的或是稠密的數(shù)組結(jié)構(gòu)有效處理OLAP查詢（示例）立方體的定義為：sales[timeitemlocation]:sum(sales_in_dollar)time的維層次dayweekmonthquateryearlocation的維層次streetcityprovince__statecount

48、ryitem的維層次item_namebrtype現(xiàn)在要處理一個year＝2000，定位在br和province__state級別的查詢，現(xiàn)有四個可用的已經(jīng)物化的方體：item_namecityyearbrcountryyearbrprovince__stateyearitem_nameprovince__state其中year＝2000Question：以上四個方體，選那個來處理查詢？(要考慮計算的量，以及可以使用的索引等因素）元數(shù)據(jù)

49、存儲在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對象的數(shù)據(jù)。有以下幾種：數(shù)據(jù)倉庫結(jié)構(gòu)的描述倉庫模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容操作元數(shù)據(jù)包括數(shù)據(jù)血統(tǒng)(datalineage)、數(shù)據(jù)類別(currencyofdata)，以及監(jiān)視信息匯總用的算法由操作環(huán)境到數(shù)據(jù)倉庫的映射關(guān)于系統(tǒng)性能的數(shù)據(jù)索引，profiles，數(shù)據(jù)刷新、更新或復(fù)制事件的調(diào)度和定時商務(wù)元數(shù)據(jù)商務(wù)術(shù)語和定義、數(shù)據(jù)擁有者信息、收費政策等元數(shù)據(jù)的使用元數(shù)

50、據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉庫中的數(shù)據(jù)模型，元數(shù)據(jù)所描述的更多的是這個模型的結(jié)構(gòu)方面的信息。在數(shù)據(jù)倉庫中，元數(shù)據(jù)的主要用途包括：用作目錄，幫助決策支持系統(tǒng)分析者對數(shù)據(jù)倉庫的內(nèi)容定義作為數(shù)據(jù)倉庫和操作性數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換時的映射標(biāo)準(zhǔn)用于指導(dǎo)當(dāng)前細(xì)節(jié)數(shù)據(jù)和稍加綜合的數(shù)據(jù)之間的匯總算法，指導(dǎo)稍加綜合的數(shù)據(jù)和高度綜合的數(shù)據(jù)之間的匯總算法。數(shù)據(jù)倉庫后端工具和程序數(shù)據(jù)倉庫后端工具主要指的是用來裝入和刷新數(shù)據(jù)的工具，包括：數(shù)據(jù)提取：從多個外部的異構(gòu)

51、數(shù)據(jù)源收集數(shù)據(jù)數(shù)據(jù)清理檢測數(shù)據(jù)種的錯誤并作可能的訂正數(shù)據(jù)變換將數(shù)據(jù)由歷史或主機的格式轉(zhuǎn)化為數(shù)據(jù)倉庫的格式裝載排序、匯總、合并、計算視圖，檢查完整性，并建立索引和分區(qū)刷新將數(shù)據(jù)源的更新傳播到數(shù)據(jù)倉庫中數(shù)據(jù)倉庫的應(yīng)用數(shù)據(jù)倉庫的三種應(yīng)用信息處理支持查詢和基本的統(tǒng)計分析，并使用交叉表、表、圖標(biāo)和圖進(jìn)行報表處理分析處理對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)分析支持基本的OLAP操作，切塊、切片、上卷、下鉆、轉(zhuǎn)軸等數(shù)據(jù)挖掘從隱藏模式中發(fā)現(xiàn)知識支持關(guān)聯(lián)分析，

52、構(gòu)建分析性模型，分類和預(yù)測，并用可視化工具呈現(xiàn)挖掘的結(jié)果三種應(yīng)用間的差別從聯(lián)機分析處理到聯(lián)機分析挖掘為什么要聯(lián)機分析挖掘數(shù)據(jù)倉庫中有高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫中存放著整合的、一致的、清理過的數(shù)據(jù)圍繞數(shù)據(jù)倉庫的信息處理結(jié)構(gòu)存取、集成、合并多個異種數(shù)據(jù)庫的轉(zhuǎn)換，ODBCOLEDB連接Web訪問和訪問工具等基于OLAP的探測式數(shù)據(jù)分析使用上卷、下鉆、切片、轉(zhuǎn)軸等技術(shù)進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)挖掘功能的聯(lián)機選擇多種數(shù)據(jù)挖掘功能、算法和任務(wù)的整合聯(lián)機分析挖掘的體