第3章 數(shù)據(jù)挖掘的體系結(jié)構(gòu)與模型

1、,1,數(shù)據(jù)挖掘原理與SPSS Clementine應(yīng)用寶典 元昌安 主編　 鄧　松　李文敬　劉海濤　編著 電子工業(yè)出版社,雙擊添加主標題,,,,,,數(shù)據(jù)挖掘的體系結(jié)構(gòu)與模型,,,,數(shù)據(jù)挖掘的體系結(jié)構(gòu)數(shù)據(jù)挖掘的過程模型Fayyad模型CRISP-DM模型,,3,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),數(shù)據(jù)挖掘系統(tǒng)由各類數(shù)據(jù)庫、挖掘前處理模塊、挖

2、掘操作模塊、模式評估模塊、知識輸出模塊組成，這些模塊的有機組成就構(gòu)成了數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)。,數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)圖,,4,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),數(shù)據(jù)庫管理模塊，負責對系統(tǒng)內(nèi)數(shù)據(jù)庫、數(shù)據(jù)倉庫、挖掘知識庫的維護與管理。這些數(shù)據(jù)庫、數(shù)據(jù)倉庫是對外部數(shù)據(jù)庫進行轉(zhuǎn)換、清理、凈化得到，它是數(shù)據(jù)挖掘的基礎(chǔ)。挖掘前處理模塊，對所收集到的數(shù)據(jù)進行清理、集成、選擇、轉(zhuǎn)換，生成數(shù)據(jù)倉庫或數(shù)據(jù)挖掘庫。其中：清理，主要清除噪音；集成，將多種數(shù)據(jù)源組

3、合在一起；選擇，選擇與問題相關(guān)的數(shù)據(jù)；轉(zhuǎn)換，將選擇數(shù)據(jù)轉(zhuǎn)換成可挖掘形式。,,5,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),模式評估模塊，對數(shù)據(jù)挖掘結(jié)果進行評估。由于所挖掘出的模式可能有許多，需要將用戶的興趣度與這些模式進行分析對比，評估模式價值，分析不足原因，如果挖掘出的模式與用戶興趣度相差大，需返回相應(yīng)的過程（如，挖掘前處理或挖掘操作）重新執(zhí)行。知識輸出模塊，完成對數(shù)據(jù)挖掘出的模式進行翻譯、解釋，以人們易于理解的方式提供給真正渴望知識的決策者使用

4、。,,6,3.1 數(shù)據(jù)挖掘的體系結(jié)構(gòu),挖掘操作模塊，利用各種數(shù)據(jù)挖掘算法針對數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘庫，并借助挖掘知識庫中的規(guī)則、方法、經(jīng)驗和事實數(shù)據(jù)等，挖掘和發(fā)現(xiàn)知識。。,,7,3.2 數(shù)據(jù)挖掘的過程模型,Fayyad數(shù)據(jù)挖掘模型將數(shù)據(jù)庫中的知識發(fā)現(xiàn)看作是一個多階段的處理過程，它從數(shù)據(jù)集中識別出以模式來表示的知識，在整個知識發(fā)現(xiàn)的過程中包括很多處理步驟，各步驟之間相互影響，反復調(diào)整，形成一種螺旋式的上升過程。,Fayyad數(shù)據(jù)挖掘

5、過程模型,,8,3.2.1 Fayyad模型,Fayyad處理過程共分為9個處理階段，分別是 ：數(shù)據(jù)準備：了解KDD相關(guān)領(lǐng)域的有關(guān)情況，熟悉有關(guān)的背景知識，并弄清楚用戶的要求。數(shù)據(jù)選擇：根據(jù)用戶的要求從數(shù)據(jù)庫中提取與KDD相關(guān)的數(shù)據(jù)，KDD將主要從這些數(shù)據(jù)中進行知識提取，在此過程中，會利用一些數(shù)據(jù)庫操作對數(shù)據(jù)進行處理。,,9,3.2.1 Fayyad模型,數(shù)據(jù)清洗和預處理：對數(shù)據(jù)進行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對

6、其中的噪音數(shù)據(jù)進行處理，對丟失的數(shù)據(jù)可以利用統(tǒng)計方法進行填補。數(shù)據(jù)降維/轉(zhuǎn)換：對經(jīng)過預處理的數(shù)據(jù)，根據(jù)知識發(fā)現(xiàn)的任務(wù)對數(shù)據(jù)進行再處理，主要通過投影或數(shù)據(jù)庫中的其它操作減少數(shù)據(jù)量。確定KDD的目標 根據(jù)用戶的要求：確定KDD是發(fā)現(xiàn)何種類型的知識，因為對KDD的不同要求會在具體的知識發(fā)現(xiàn)過程中采用不同的知識發(fā)現(xiàn)算法。,,10,3.2.1 Fayyad模型,確定知識發(fā)現(xiàn)算法： 根據(jù)階段5所確定的任務(wù)，選擇合適的知識發(fā)現(xiàn)算法，這包括選

7、取合適的模型和參數(shù)，并使得知識發(fā)現(xiàn)算法與整個KDD的評判標準相一致。數(shù)據(jù)挖掘(Data Mining) ：運用選定的知識發(fā)現(xiàn)算法，從數(shù)據(jù)中提取出用戶所感興趣的知識，并以一定的方式表示出來。模式解釋： 對發(fā)現(xiàn)的模式（知識）進行解釋，在此過程中，為了取得更為有效的知識。,,11,3.2.1 Fayyad模型,知識評價： 將發(fā)現(xiàn)的知識以用戶能了解的方式呈現(xiàn)給用戶。這期間也包含對知識的一致性檢查，以確信本次發(fā)現(xiàn)的知識不與以前發(fā)現(xiàn)的知識

8、相抵觸。,,12,3.2.1 Fayyad模型,Fayyad過程模型是一個偏技術(shù)的模型，該模型在實際應(yīng)用中存在以下兩個問題：為什么選擇這些數(shù)據(jù)？Fayyad過程模型忽略了具體業(yè)務(wù)問題的確定。這也是確定選擇哪些數(shù)據(jù)的關(guān)鍵所在。模型怎樣使用？數(shù)據(jù)挖掘是分析型環(huán)境中的一門技術(shù)，如果數(shù)據(jù)挖掘是一種數(shù)據(jù)分析技術(shù)，那么數(shù)據(jù)挖掘應(yīng)該在分析型環(huán)境中使用。但是，挖掘出的模型需要返回到操作型環(huán)境中進行應(yīng)用。因此，需要構(gòu)成一個從操作型環(huán)境到分析型環(huán)境再

9、到操作型環(huán)境的封閉的信息流。,,13,3.2.2 CRISP-DM模型,CRISP-DM（Cross-Industry Standard Process for Data Mining，跨行業(yè)數(shù)據(jù)挖掘標準流程）注重數(shù)據(jù)挖掘技術(shù)的應(yīng)用，解決了Fayyad模型存在的兩個問題。 CRISP-DM過程模型從商業(yè)的角度給出對數(shù)據(jù)挖掘方法的理解。目前數(shù)據(jù)挖掘系統(tǒng)的研制和開發(fā)大都遵循CRISP-DM標準，將典型的挖掘和模型的部

10、署緊密結(jié)合。,,14,3.2.2 CRISP-DM模型,CRISP-DM模型過程的基本步驟包括：業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準備、建立模型、模型評價、模型實施。,CRISP-DM數(shù)據(jù)挖掘過程模型,,15,3.2.2 CRISP-DM模型,CRISP-DM模型的各個階段任務(wù)。 業(yè)務(wù)理解 （Business Understanding） 最初的階段集中在理解項目目標和從業(yè)務(wù)的角度理解需求，同時將這個知識轉(zhuǎn)化為數(shù)據(jù)

11、挖掘問題的定義和完成目標的初步計劃。,,16,3.2.2 CRISP-DM模型,數(shù)據(jù)理解 （Data Understanding） 數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開始，通過一些活動的處理，目的是熟悉數(shù)據(jù)，識別數(shù)據(jù)的質(zhì)量問題，首次發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測引起興趣的子集去形成隱含信息的假設(shè)。,,17,3.2.2 CRISP-DM模型,數(shù)據(jù)準備 （Data Preparation） 數(shù)據(jù)準備階段包

12、括從未處理數(shù)據(jù)中構(gòu)造最終數(shù)據(jù)集的所有活動。這些數(shù)據(jù)將是模型工具的輸入值。這個階段的任務(wù)有一個能執(zhí)行多次，沒有任何規(guī)定的順序。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。,,18,3.2.2 CRISP-DM模型,建立模型（Modeling） 選擇和應(yīng)用不同的模型技術(shù)，模型參數(shù)被調(diào)整到最佳的數(shù)值。一般，有些技術(shù)可以解決一類相同的數(shù)據(jù)挖掘問題。有些技術(shù)在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準備階段。,,19

13、,3.2.2 CRISP-DM模型,評價（Evaluation） 已經(jīng)從數(shù)據(jù)分析的角度建立了高質(zhì)量顯示的模型。在開始最后部署模型之前，重要的事情是徹底地評估模型，檢查構(gòu)造模型的步驟，確保模型可以完成業(yè)務(wù)目標。這個階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問題沒有被充分的考慮。在這個階段結(jié)束后，一個數(shù)據(jù)挖掘結(jié)果使用的決定必須達成。,,20,3.2.2 CRISP-DM模型,實施 （Deployment） 通常，模