數(shù)據(jù)挖掘管理系統(tǒng)規(guī)范說明

1、數(shù)據(jù)挖掘管理系統(tǒng)規(guī)范說明,現(xiàn)狀簡介強(qiáng)度挖掘(Intension Mining)I-MIN過程模型(Process Model)I-MIN系統(tǒng)的功能組件(Functional Components)強(qiáng)度挖掘算子(Operators) I-MIN系統(tǒng)的三層體系結(jié)構(gòu)(Architecture)小結(jié),現(xiàn)狀簡介,傳統(tǒng)的KDD過程模型(CRISP-DM模型),Business Understanding,Data Understandi

2、ng,Data Preparation,Data Exploration,Data Mining,Evaluation,Deployment,,,,,,,現(xiàn)狀簡介,當(dāng)前的數(shù)據(jù)挖掘系統(tǒng)和數(shù)據(jù)挖掘工具包要求使用者必須是數(shù)據(jù)挖掘?qū)＜曳菍I(yè)用戶需要與數(shù)據(jù)挖掘?qū)＜颐芮信浜喜拍鼙ＷC獲得理想的數(shù)據(jù)挖掘結(jié)果用戶使用極為不方便,強(qiáng)度挖掘(Intension Mining),挖掘目標(biāo)以知識發(fā)現(xiàn)模式(Knowledge Discovery Schema)

3、的形式存儲強(qiáng)度挖掘模式包含了一般挖掘需求（Generic mining requirements）的規(guī)格說明強(qiáng)度挖掘是基于增量式挖掘概念的，增量數(shù)據(jù)庫按固定的時間間隔進(jìn)行自動處理處理過程由數(shù)據(jù)預(yù)挖掘組成，主要包括初步分析和聚集(Aggregation)強(qiáng)度挖掘主要由計劃階段(Planning phase)，累積階段(Accumulation phase)和挖掘階段(Mining phase)三個階段組成,強(qiáng)度挖掘(Intensi

4、on Mining),計劃階段知識發(fā)現(xiàn)模式(Knowledge Discovery Schema, KDS)的創(chuàng)建編譯知識發(fā)現(xiàn)模式得到對應(yīng)的元數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu),強(qiáng)度挖掘(Intension Mining),累積階段通過元數(shù)據(jù)對增量數(shù)據(jù)庫進(jìn)行預(yù)挖掘，得到濃縮知識(Knowledge Concentrate, KC)濃縮知識作為最終知識的中間表示形式，以濃縮知識窗口的形式為進(jìn)一步的數(shù)據(jù)挖掘服務(wù),強(qiáng)度挖掘(Intension Minin

5、g),挖掘階段用戶提交數(shù)據(jù)挖掘查詢或執(zhí)行數(shù)據(jù)挖掘應(yīng)用程序挖掘算法對濃縮知識進(jìn)行處理，得到用戶最終所需的知識,強(qiáng)度挖掘(Intension Mining),重要特征將KDD看作一個連續(xù)的過程，以固定的時間間隔對增量數(shù)據(jù)庫進(jìn)行周期性累積產(chǎn)生濃縮知識濃縮知識窗口是知識更新和知識共享的基礎(chǔ),I-MIN過程模型(Process Model),I-MIN模型基于強(qiáng)度挖掘概念的以用戶為中心的KDD過程模型支持對KDD過程的交互式探索和試驗

6、向下兼容傳統(tǒng)的KDD過程模型處理步驟分別標(biāo)記為IM1, IM2, ……, IM6,I-MIN過程模型(Process Model),I-MIN過程模型(Process Model),IM1對應(yīng)于強(qiáng)度挖掘中的計劃階段確定挖掘目標(biāo)以知識發(fā)現(xiàn)模式的形式表示挖掘目標(biāo)編譯知識發(fā)現(xiàn)模式得到元數(shù)據(jù),I-MIN過程模型(Process Model),IM2對應(yīng)于積累階段是一個復(fù)合過程IM2a, IM2b, IM2c分別對應(yīng)于傳統(tǒng)KDD

7、過程的數(shù)據(jù)選擇、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換IM2d負(fù)責(zé)對預(yù)挖掘數(shù)據(jù)進(jìn)行分析和聚集不需人工干預(yù)而以固定的時間間隔自動執(zhí)行輸出濃縮知識(KC),I-MIN過程模型(Process Model),IM3標(biāo)志著挖掘階段的開始用戶提交挖掘查詢或自己開發(fā)的應(yīng)用程序在IM2中得到的濃縮知識在本步驟可以共享,I-MIN過程模型(Process Model),IM4真正的數(shù)據(jù)挖掘步驟知識發(fā)現(xiàn)模式中指定的數(shù)據(jù)挖掘算法被激活用戶期望的知識是從濃縮知

8、識中挖掘出來,I-MIN過程模型(Process Model),IM5對應(yīng)于知識表示IM6對應(yīng)于知識解釋/實施,I-MIN系統(tǒng)的功能組件,實現(xiàn)I-MIN模型需要為累積、挖掘、試驗和跟蹤開發(fā)相應(yīng)的組件不同類型的知識對應(yīng)的組件是不同的每個組件實現(xiàn)I-MIN模型的一個步驟或一個功能,I-MIN系統(tǒng)的功能組件,I-MIN系統(tǒng)的功能組件,實現(xiàn)I-MIN模型需要5種組件： K為使用算法A發(fā)現(xiàn)的知識類型?TM為合并算子，用于指定數(shù)據(jù)庫子集

9、FaccTM為累積組件FminTM為挖掘組件FexpTM為試驗組件FmonTM為跟蹤組件,I-MIN系統(tǒng)的功能組件,累積組件對數(shù)據(jù)進(jìn)行初步分析和局部聚集，實現(xiàn)IM2d由系統(tǒng)自動激活為增量數(shù)據(jù)庫構(gòu)建濃縮知識窗口對最終用戶而言是透明的,I-MIN系統(tǒng)的功能組件,合并組件用戶可以動態(tài)指定挖掘的數(shù)據(jù)目標(biāo)子集通過指定需要的時間間隔來達(dá)到合并的目的固定周期內(nèi)的濃縮知識需要合并產(chǎn)生一個合并的大窗口,I-MIN系統(tǒng)的功能組件,挖掘

10、組件由實際的挖掘算法組成用戶提交挖掘查詢或應(yīng)用程序時激活一個算法根據(jù)參數(shù)的不同可能對應(yīng)多個功能,I-MIN系統(tǒng)的功能組件,試驗組件支持以用戶為中心的數(shù)據(jù)探索和試驗通過不同的常數(shù)、數(shù)據(jù)子集和參數(shù)進(jìn)行重復(fù)的試驗通過用戶應(yīng)用程序的方式設(shè)計新的試驗滿足特別的挖掘需求,I-MIN系統(tǒng)的功能組件,跟蹤組件比較不同窗口中發(fā)現(xiàn)的知識來達(dá)到對數(shù)據(jù)特征進(jìn)行審查的目的可以有效發(fā)現(xiàn)模式的變化過程,I-MIN系統(tǒng)的功能組件,最后兩個組件可以有效體

11、現(xiàn)以用戶為中心的本質(zhì)如果忽略?TM、Fexp,和Fmon，I-MIN模型就還原為傳統(tǒng)的KDD過程模型,強(qiáng)度挖掘算子(Operators),用戶通過算子以強(qiáng)度挖掘查詢語言或API的方式訪問功能組件對應(yīng)的功能算子可以分為：基本算子累積算子(用戶透明)合并算子(用戶透明)挖掘算子 二級算子探索和比較多個數(shù)據(jù)子集知識的存儲和檢索 關(guān)聯(lián)規(guī)則的基本算子和二級算子已經(jīng)開發(fā)出來,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),對整個KDD過程進(jìn)行抽象

12、，并為知識管理提供有效的環(huán)境獨立于數(shù)據(jù)庫系統(tǒng)和相應(yīng)平臺，支持知識發(fā)現(xiàn)，知識保存，知識更新和知識共享層次結(jié)構(gòu)包括前后端層、核心層和存儲模式層每層都有一個引擎，用于維護(hù)該層的數(shù)據(jù)庫，協(xié)調(diào)層內(nèi)不同組件之間的通信元數(shù)據(jù)隊在三層之間是共享的數(shù)據(jù)交換接口提供了訪問數(shù)據(jù)源的機(jī)制,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),I-MIN系統(tǒng)的三層體系結(jié)構(gòu),知識抽象存儲模式層描述稠密知識單元如何通過數(shù)據(jù)結(jié)構(gòu)和文件進(jìn)行保存，對知識提供最低層次的抽象中間層的知

13、識發(fā)現(xiàn)模式將稠密知識單元抽象為濃縮知識或窗口使用濃縮知識的應(yīng)用程序?qū)χR提供最高層次的抽象修改濃縮知識的物理數(shù)據(jù)結(jié)構(gòu)而對映射關(guān)系和應(yīng)用程序沒有影響的能力稱為數(shù)據(jù)的物理獨立性,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),KDD過程抽象預(yù)挖掘和聚集，存儲結(jié)構(gòu)和濃縮知識的映射關(guān)系等具體細(xì)節(jié)對最終用戶而言是看不見的用戶的KDD過程由知識發(fā)現(xiàn)模式定義的一般KDD過程得到對最終用戶而言，提交一條挖掘查詢或應(yīng)用程序就定義了用戶自己的KDD過程通過改變預(yù)

14、挖掘功能或挖掘算法修改KDD過程而不影響應(yīng)用程序的能力稱為數(shù)據(jù)的邏輯獨立性,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),前后端層提供了I-MIN系統(tǒng)的用戶接口主要包括如下組件強(qiáng)度挖掘查詢處理器知識發(fā)現(xiàn)模式編譯器表示管理器組件管理器庫管理器數(shù)據(jù)接口交換管理器,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),核心層數(shù)據(jù)挖掘引擎激活累積組件對用戶查詢和應(yīng)用程序進(jìn)行響應(yīng)與數(shù)據(jù)交換接口通信，從目標(biāo)數(shù)據(jù)庫中檢索所需數(shù)據(jù)功能模塊有五個功能組件組成預(yù)挖掘功

15、能庫用于數(shù)據(jù)選擇、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),存儲模式層支持濃縮知識的存儲支持濃縮知識的合并和檢索為用戶應(yīng)用程序提供數(shù)據(jù)的物理獨立性,I-MIN系統(tǒng)的三層體系結(jié)構(gòu),元數(shù)據(jù)和數(shù)據(jù)交換接口元數(shù)據(jù)用于知識發(fā)現(xiàn)、知識重用和知識共享數(shù)據(jù)交換接口用于實現(xiàn)KDD過程相對于數(shù)據(jù)源的獨立性,小結(jié),提出了針對KDD過程的以用戶為中心的模型提出基于該模型的數(shù)據(jù)挖掘管理系統(tǒng)體系結(jié)構(gòu)系統(tǒng)提供的操作算子用于開發(fā)數(shù)據(jù)挖掘應(yīng)用程序