數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

1、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘,DATA WAREHOUSING AND DATA MINING經(jīng)濟(jì)科學(xué)室驗(yàn)室2004.6,主要內(nèi)容,數(shù)據(jù)倉庫簡介 數(shù)據(jù)挖掘簡介ORACLE 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘解決方案,什么是數(shù)據(jù)倉庫 ?,數(shù)據(jù)倉庫（Data Warehouse）是一個(gè)面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)

2、集合，用于支持管理決策。,數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別,數(shù)據(jù)倉庫的體系結(jié)構(gòu),,什么是數(shù)據(jù)挖掘 ?,數(shù)據(jù)挖掘是一個(gè)利用各種分析方法和分析工具在大規(guī)模海量數(shù)據(jù)中建立模型和發(fā)現(xiàn)數(shù)據(jù)間關(guān)系的過程，這些模型和關(guān)系可以用來做出決策和預(yù)測。,,,顧客數(shù)據(jù)到處都是，誰才是我的顧客？,,,,,,,銷售信息,,市場信息,訂單目錄,市場數(shù)據(jù)庫,庫存信息,客服信息,數(shù)據(jù)挖掘能做些什么？,數(shù)據(jù)特征化和數(shù)據(jù)區(qū)分 關(guān)聯(lián)分析 分類和預(yù)測 聚類分析 孤立點(diǎn)分析 演變

3、分析,數(shù)據(jù)挖掘的常用方法,決策樹 相關(guān)規(guī)則 神經(jīng)元網(wǎng)絡(luò) 遺傳算法 可視化 OLAP聯(lián)機(jī)分析處理 統(tǒng)計(jì)方法,ORACLE 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘 解決方案,,,Oracle 提供的數(shù)據(jù)倉庫工具 及其功能介紹,Oracle數(shù)據(jù)庫 SQL *Loader工具Oracle Warehouse Builder (OWB),Oracle9i 數(shù)據(jù)庫,一個(gè)對象關(guān)系型數(shù)據(jù)倉庫，用于存儲大量的數(shù)據(jù)。,,

4、,SQL *Loader工具,用于將數(shù)據(jù)裝載到數(shù)據(jù)倉庫中。這些數(shù)據(jù)包括Oracle數(shù)據(jù)庫中的數(shù)據(jù)，其他數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)和外部數(shù)據(jù)。開發(fā)人員可以利用這兩種工具將多種數(shù)據(jù)源融合在一個(gè)單一的存儲系統(tǒng)中，并加以管理，從而為最終用戶提供對這多種數(shù)據(jù)源的無縫訪問。,Oracle Warehouse Builder,OWB是Oracle Developer Suits 中的一個(gè)組件，是用于設(shè)計(jì)、實(shí)現(xiàn)、和管理企業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)集市的集成系統(tǒng)。 通

5、過向?qū)?qū)動的用戶界面來進(jìn)行數(shù)據(jù)映射、元數(shù)據(jù)導(dǎo)入，利用預(yù)定義的轉(zhuǎn)換庫，能夠減少設(shè)計(jì)和實(shí)施時(shí)間。自動生成代碼，并且通過校驗(yàn)程序保證編碼的正確性和唯一性，按照部署的要求生成不同的編碼類型。,Oracle Warehouse Builder,提供可視化的直觀映射和轉(zhuǎn)換工具、對多維數(shù)據(jù)的拖放功能，以及一個(gè)用于管理倉庫的系統(tǒng)外門戶解決方案，降低設(shè)計(jì)和開發(fā)數(shù)據(jù)倉庫和數(shù)據(jù)中心的復(fù)雜度。OWB為事實(shí)表和維度表提供向?qū)Ш蛨D形編輯器。OWB全面應(yīng)用Or

6、acle9i 的分區(qū)、索引和總結(jié)管理等特性，與數(shù)據(jù)庫的緊密集成允許Oracle9i 作為一種轉(zhuǎn)換引擎使用，排除了增加轉(zhuǎn)換服務(wù)器的需求。,Oracle Warehouse Builder,利用OWB組件——文件集成器，實(shí)現(xiàn)從文本文件中提取數(shù)據(jù)。OWB包括一個(gè)全局共享庫（Global Shared Library)，用于存儲可重復(fù)使用的轉(zhuǎn)換。OWB軟件還包括Oracle Pure Integrate 和OWB Integrator fo

7、r SAP R/3, 前者是將數(shù)據(jù)客戶集成以形成戰(zhàn)略性電子商務(wù)項(xiàng)目基礎(chǔ)的軟件，后者是對SAP特有的ERP數(shù)據(jù)進(jìn)行強(qiáng)有力報(bào)表制作和分析的集成橋梁。,OWB的開發(fā)過程,邏輯數(shù)據(jù)庫的定義數(shù)據(jù)倉庫的構(gòu)架商業(yè)結(jié)構(gòu)數(shù)據(jù)源和目標(biāo)提取、轉(zhuǎn)換和裝載操作的映射,OWB的開發(fā)過程,物理數(shù)據(jù)倉庫實(shí)例的配置、合法化和部署DDL腳本，用于創(chuàng)建數(shù)據(jù)倉庫和框架對象之間的關(guān)系PL/SQL、SQL*Loader 和Tcl腳本，用于提取數(shù)據(jù)、映射和轉(zhuǎn)換數(shù)據(jù)，然后

8、將其裝載到物理實(shí)例中,OWB的開發(fā)過程,裝載和管理Oracle Enterprise Manager ，用于調(diào)度單個(gè)工作或是Oracle Workflow進(jìn)程。,Oracle 提供的數(shù)據(jù)挖掘工具 及其功能介紹,Oracle9i Data Mining Oracle9i OLAP 工具集Oracle Discoverer Oracle Express系列Oracle Express Analyzer Oracl

9、e Express Objects Oracle Express Server,Oracle9i Data Mining,提高應(yīng)用軟件的預(yù)測力和洞察力將數(shù)據(jù)挖掘功能嵌入 Oracle9i 數(shù)據(jù)庫中 基于 Java 的 API,Data Mining,提高應(yīng)用軟件的預(yù)測力和洞察力,利用DM，公司能夠構(gòu)建高級商務(wù)智能應(yīng)用程序、對公司的數(shù)據(jù)庫進(jìn)行挖掘、發(fā)現(xiàn)新的有用信息并將其集成到商務(wù)應(yīng)用程序中。 利用DM，公司能夠提高在客戶關(guān)系

10、管理（CRM），企業(yè)資源計(jì)劃（ERP），網(wǎng)頁入口和無線應(yīng)用等商務(wù)智能方面的能力。鑒別最有利可圖的消費(fèi)者，避免客戶流失 獲得新客戶，對已有客戶進(jìn)行交叉銷售 檢測欺詐行為 預(yù)測零件質(zhì)量 尋找病人、藥品和療效之間的關(guān)系,數(shù)據(jù)挖掘功能的內(nèi)嵌,Oracle9i Data Mining 將數(shù)據(jù)挖掘功能嵌入 Oracle9i 數(shù)據(jù)庫中，用于分類、預(yù)報(bào)和關(guān)聯(lián)。所有的模型構(gòu)建、評分、以及元數(shù)據(jù)管理操作經(jīng)由基于 Java 的 API 來啟動并完

11、全在該關(guān)系數(shù)據(jù)庫中發(fā)生。 采用貝葉斯法則進(jìn)行預(yù)測和分類 運(yùn)用關(guān)聯(lián)規(guī)則檢測隱藏于數(shù)據(jù)庫中“相關(guān)”或并發(fā)事件 自動提取商務(wù)信息并將其整合在其他應(yīng)用軟件之中,基于 Java 的 API,商務(wù)智能（BI）開發(fā)人員可以使用基于Java的應(yīng)用程序接口（API）來開發(fā)基于預(yù)測的應(yīng)用軟件。自動執(zhí)行數(shù)據(jù)挖掘進(jìn)程，為消費(fèi)者打分以及產(chǎn)生需求預(yù)測。通過查詢、分析和報(bào)表生成器產(chǎn)生新的數(shù)據(jù)挖掘信息。支持應(yīng)用程序的集成。,Oracle9i OLAP工具,

12、企業(yè)級OLAP可將跨部門的數(shù)據(jù)緊密地聯(lián)系在一起，從而使所有用戶在一個(gè)共同的信息基礎(chǔ)上。它幫助用戶使用數(shù)據(jù)倉庫中的所有數(shù)據(jù)。企業(yè)級OLAP還能夠超越數(shù)據(jù)倉庫的范圍，集成來自其它獨(dú)立系統(tǒng)的數(shù)據(jù)，這些系統(tǒng)可能是關(guān)系型數(shù)據(jù)庫或者外部的文件系統(tǒng)。這種集成使得新型應(yīng)用，如：基于事實(shí)的促銷、基于行為的定價(jià)以及產(chǎn)品利潤分析等能夠跨越單一部門的界限。,Oracle Discoverer,是Oracle公司面向 決策支持系統(tǒng)OLAP工具集的組成部分。它是

13、一個(gè)直觀的隨意查詢、報(bào)告、搜索和Web公布的工具。它能夠幫助公司內(nèi)部各個(gè)層次的商業(yè)用戶，獲得迅速訪問關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)中心或者聯(lián)機(jī)事務(wù)處理系統(tǒng)中數(shù)據(jù)的能力。,Oracle Discoverer,User Edition提供了超乎尋常的易用性，通過任意深入能力、旋轉(zhuǎn)和圖表，給予用戶強(qiáng)大的數(shù)據(jù)探索能力。 Administration Edition提供了一個(gè)易于使用的基于服務(wù)器的強(qiáng)大的最終用戶層(End User Layer?) 。

14、對于那些需要集中精力處理商業(yè)問題而不是數(shù)據(jù)問題的最終用戶而言，End User Layer為他們隱藏了數(shù)據(jù)結(jié)構(gòu)和相互關(guān)系的復(fù)雜性。,Discoverer 支持下面的新特性:,自動摘要管理oracle 應(yīng)用的支持標(biāo)志改變計(jì)劃業(yè)主分析功能,Oracle Express系列,通過使用Oracle Express ：分析咨詢?nèi)藛T能夠很輕松地從各自的視角觀察數(shù)據(jù) 產(chǎn)品經(jīng)理能夠跨越許多時(shí)間段和市場區(qū)域研究她負(fù)責(zé)的某個(gè)產(chǎn)品 財(cái)務(wù)經(jīng)理可以

15、集中在當(dāng)前或者以前的時(shí)間段，研究所有的市場和產(chǎn)品 地區(qū)經(jīng)理可在某些地區(qū)的所有時(shí)間段上考察所有產(chǎn)品 策略規(guī)劃人員可以集中在公司數(shù)據(jù)的某個(gè)集上，如在當(dāng)前和下個(gè)季度，僅在西部地區(qū)銷售的某個(gè)新產(chǎn)品。,Oracle Express Analyzer,通用的、面向最終用戶的報(bào)告和分析工具，它采用面向?qū)ο蠹夹g(shù)，在Oracle Express Analyzer中能運(yùn)行任何Oracle Express Objects應(yīng)用。  在Oracl

16、e Express Analyzer的一個(gè)基石性對象是簡報(bào)(briefing)。一個(gè)簡報(bào)由若干頁組成，每一頁上包含由可重用的對象建立的面向主題的分析。這些對象是交互的、用戶能夠旋轉(zhuǎn)、深入和查詢?nèi)魏我粡埡唸?bào)頁中的表格或者圖形，以運(yùn)行他們自己的即席分析。,Oracle Express Objects,是最早出現(xiàn)的用于建立C/S上OLAP應(yīng)用的面向?qū)ο蟮目梢暬_發(fā)環(huán)境。 提供圖形化建模和假設(shè)分析功能 。通過使用標(biāo)準(zhǔn)的Microsoft對象

17、連接嵌入技術(shù)(OLE)，實(shí)現(xiàn)對第三方軟件開放。例如能夠使用一個(gè)OLE控件顯示銷售某公司產(chǎn)品的商店。 通過使用代理程序、預(yù)警程序和OLE控件，可以監(jiān)控存貨水平，當(dāng)存貨水平下降時(shí)向管理人員報(bào)警，自動提高主要產(chǎn)品的存貨水平。,Oracle Express Server,是一個(gè)先進(jìn)的計(jì)算機(jī)引擎和數(shù)據(jù)高速緩存。 支持最能反應(yīng)用戶對其業(yè)務(wù)思考方法的多維模型，而且具有分析、預(yù)測、建模，以及對數(shù)據(jù)進(jìn)行假設(shè)分析(what-if)的能力。 具有用于數(shù)

18、學(xué)、財(cái)務(wù)、統(tǒng)計(jì)和時(shí)間序列管理等方面的內(nèi)置功能 。,Oracle Express Server,具有伸縮性、強(qiáng)健性和基于應(yīng)用的特性，支持多個(gè)用戶訪問，并且為大型數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)完整性控制。 Oracle的開放策略允許實(shí)施企業(yè)OLAP的公司自由選擇所需的關(guān)系型數(shù)據(jù)庫、開發(fā)工具和用戶界面，其中包括用戶化的Windows前端、電子表格和WWW，從而獲得最大限度的靈活性。,Oracle 開發(fā)工具簡介,Designer－提供了在RAD風(fēng)格的用戶界

19、面下開發(fā)企業(yè)Web應(yīng)用和客戶/服務(wù)器應(yīng)用的集成式解決方案。Developer提供有一個(gè)集成式工具集 ，能夠?qū)崿F(xiàn)企業(yè)的Internet計(jì)算環(huán)境Jdeveloper 一種高效的3GL編程工具，可用來為客戶應(yīng)用建立數(shù)據(jù)敏感的Java部件,Oracle 開發(fā)工具簡介,Programmer 為應(yīng)用編程人員提供一套完整的編程接口和全面的應(yīng)用開發(fā)解決方案 Reports 用于企業(yè)范圍內(nèi)進(jìn)行“高逼真度”的Web數(shù)據(jù)庫發(fā)布和報(bào)告,謝