網(wǎng)格環(huán)境中數(shù)據(jù)挖掘執(zhí)行過程模型的研究.pdf

1、隨著信息技術(shù)的發(fā)展，大量數(shù)據(jù)在各種應(yīng)用中被產(chǎn)生出來，并被分布的存儲和積累在不同地點，如何從這些大量積累的、分布的數(shù)據(jù)中發(fā)現(xiàn)有用的、潛在的知識模式是一個極具挑戰(zhàn)性的問題。網(wǎng)格技術(shù)用于在分布異構(gòu)的資源間實現(xiàn)協(xié)作和共享，將數(shù)據(jù)挖掘技術(shù)運用于網(wǎng)格平臺之上，為從大量分布的數(shù)據(jù)中獲取有用的知識模式提供了有效的解決方案。但數(shù)據(jù)挖掘過程是一個涉及大量操作和數(shù)據(jù)的復(fù)雜過程，與網(wǎng)格平臺相結(jié)合，無疑又增加了挖掘過程的復(fù)雜性。目前在數(shù)據(jù)挖掘技術(shù)的研究中，數(shù)據(jù)挖

2、掘算法被作為一個獨立的整體，以黑盒的方式出現(xiàn)在應(yīng)用中，在這種情況下，數(shù)據(jù)挖掘執(zhí)行過程對用戶和執(zhí)行環(huán)境是不可見的，這使得集中式環(huán)境中的數(shù)據(jù)挖掘算法不能根據(jù)分布式環(huán)境的特點動態(tài)的轉(zhuǎn)化為分布式的數(shù)據(jù)挖掘過程，用戶不能靈活的對數(shù)據(jù)挖掘執(zhí)行過程進行控制。此外，訪問數(shù)據(jù)挖掘服務(wù)與訪問網(wǎng)格服務(wù)的接口相互獨立給用戶訪問網(wǎng)格中的數(shù)據(jù)挖掘服務(wù)帶來不便。這些因素都導(dǎo)致了數(shù)據(jù)挖掘技術(shù)在網(wǎng)格平臺上不能有效的發(fā)揮其作用。正如實際的鐵路貨運應(yīng)用系統(tǒng)中需要解決的問題:

3、在鐵路貨運網(wǎng)格平臺的基礎(chǔ)上，如何充分利用分布的計算資源，對分布在各個鐵路局的貨運數(shù)據(jù)進行有效的深層次的挖掘以輔助決策。
　　在本文提出的方法中，數(shù)據(jù)挖掘算法被分解成由細粒度數(shù)據(jù)挖掘操作組成的執(zhí)行過程模型;在此基礎(chǔ)之上，結(jié)合網(wǎng)格環(huán)境中數(shù)據(jù)資源和計算資源的分布情況，對模型進行優(yōu)化，得到可以在網(wǎng)格中執(zhí)行的分布式數(shù)據(jù)挖掘執(zhí)行過程模型;然后，執(zhí)行引擎將模型調(diào)度到各個網(wǎng)格節(jié)點執(zhí)行;最后通過統(tǒng)一的、與網(wǎng)格平臺相兼容的接口將數(shù)據(jù)挖掘結(jié)果提供給用戶

4、。本文在網(wǎng)格平臺上，使用提出的方法實現(xiàn)了關(guān)聯(lián)規(guī)則、序列模式、決策樹分類器和樸素貝葉斯分類器等典型的數(shù)據(jù)挖掘執(zhí)行過程模型的分解、優(yōu)化與執(zhí)行。
　　本文的主要工作及創(chuàng)新點包括:
　　提出了由細粒度的數(shù)據(jù)挖掘操作組成的數(shù)據(jù)挖掘執(zhí)行過程模型，用于描述數(shù)據(jù)挖掘算法的執(zhí)行過程，將數(shù)據(jù)挖掘算法白盒化。通過該模型，用戶、應(yīng)用程序和執(zhí)行環(huán)境能清晰的理解整個數(shù)據(jù)挖掘算法執(zhí)行經(jīng)過的中間步驟及各步驟產(chǎn)生的中間結(jié)果的信息。本文在集中式環(huán)境中，基于仿真

5、數(shù)據(jù)對數(shù)據(jù)挖掘執(zhí)行過程模型中的各個操作進行了實驗評估，證明了數(shù)據(jù)挖掘執(zhí)行過程模型能夠?qū)?shù)據(jù)挖掘算法白盒化，將算法中各個步驟的執(zhí)行情況展現(xiàn)出來。
　　設(shè)計了基于網(wǎng)格環(huán)境的數(shù)據(jù)挖掘執(zhí)行過程模型的優(yōu)化算法，用于將集中式執(zhí)行過程模型轉(zhuǎn)化為可在多個網(wǎng)格節(jié)點上并行執(zhí)行的分布式執(zhí)行過程模型，該優(yōu)化算法采用從部分到整體逐層處理的方式，將整個優(yōu)化過程分為數(shù)據(jù)具體化、全局優(yōu)化和局部優(yōu)化三個子過程，在每個子過程中，根據(jù)數(shù)據(jù)挖掘操作的類型和數(shù)據(jù)分布的特征

6、對操作依次進行優(yōu)化。本文基于網(wǎng)格平臺，使用仿真數(shù)據(jù)對分布式數(shù)據(jù)挖掘執(zhí)行過程模型進行了實驗，驗證了分布式數(shù)據(jù)挖掘執(zhí)行過程模型在響應(yīng)時間和資源使用平衡方面優(yōu)于集中式的處理方式。
　　設(shè)計了數(shù)據(jù)挖掘執(zhí)行過程模型引擎，為分布式數(shù)據(jù)挖掘執(zhí)行過程模型在網(wǎng)格平臺上執(zhí)行提供了運行環(huán)境，其中，設(shè)計了(a)基于網(wǎng)格環(huán)境的調(diào)度算法，用于將分布式數(shù)據(jù)挖掘執(zhí)行過程模型以流程鏈為單位調(diào)度到各個網(wǎng)格節(jié)點執(zhí)行;(b)基于WSRF規(guī)范實現(xiàn)的執(zhí)行服務(wù)和控制服務(wù)。本文

7、在網(wǎng)格平臺上，使用仿真數(shù)據(jù)進行實驗，分析了分布式數(shù)據(jù)挖掘執(zhí)行過程模型在網(wǎng)格環(huán)境中使用引擎調(diào)度執(zhí)行時，各個流程鏈調(diào)度執(zhí)行的響應(yīng)時間;并基于鐵路貨運網(wǎng)格實驗平臺和實際的貨票數(shù)據(jù)，使用CART決策樹分類器實現(xiàn)了鐵路重點客戶的預(yù)測。
　　設(shè)計了在網(wǎng)格環(huán)境中訪問數(shù)據(jù)挖掘服務(wù)的接口規(guī)范WS-DAI-DM，其目的是使數(shù)據(jù)挖掘服務(wù)與基于OGSA體系架構(gòu)的網(wǎng)格平臺無縫融合，使用戶能夠像使用網(wǎng)格平臺提供的其他服務(wù)一樣來使用網(wǎng)格環(huán)境中的數(shù)據(jù)挖掘服務(wù)。本