面向服務(wù)的數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf

1、解決大規(guī)模分布異構(gòu)數(shù)據(jù)挖掘問題，需要一種便于資源集成、提供高質(zhì)量數(shù)據(jù)挖掘服務(wù)，并具有較高安全性和隱私保護性的框架模型。面向服務(wù)的體系結(jié)構(gòu)(Service Oriented Architecture，SOA)、本體、WEB服務(wù)等新技術(shù)將為數(shù)據(jù)挖掘系統(tǒng)的開發(fā)提供更強大的技術(shù)支持。根據(jù)分布異構(gòu)環(huán)境下數(shù)據(jù)挖掘的特點，綜合利用SOA、本體、WEB服務(wù)等新技術(shù)，遵循以用戶為中心的理念，提出了一種開放式的面向服務(wù)的數(shù)據(jù)挖掘系統(tǒng)框架――SODMA。該框

2、架將數(shù)據(jù)挖掘的算法封裝成WEB服務(wù)，利用異構(gòu)數(shù)據(jù)集成本體和隱私保護策略本體實現(xiàn)應(yīng)用域的隱私保護語義數(shù)據(jù)集成，利用以用戶為中心的數(shù)據(jù)挖掘本體和數(shù)據(jù)挖掘服務(wù)質(zhì)量評價本體幫助用戶動態(tài)選擇適用且高質(zhì)量的數(shù)據(jù)挖掘服務(wù)(DMS)，可在分布環(huán)境下為不同領(lǐng)域多層次用戶提供高可用性、高性能、高質(zhì)量、安全的數(shù)據(jù)挖掘服務(wù)。 對于分布異構(gòu)的數(shù)據(jù)挖掘，異構(gòu)數(shù)據(jù)集成是數(shù)據(jù)預(yù)處理很關(guān)鍵的第一步。數(shù)據(jù)集成的模型需要有效的解決數(shù)據(jù)異構(gòu)性、完整性、權(quán)限控制、集成范

3、圍限定等問題。在分析現(xiàn)有的數(shù)據(jù)倉庫方式、中間件集成、基于本體的數(shù)據(jù)集成方法優(yōu)缺點的基礎(chǔ)上，借鑒已有的語義數(shù)據(jù)集成和隱私保護數(shù)據(jù)挖掘的研究成果，提出了一個基于智能體和本體的隱私保護語義數(shù)據(jù)集成模型，以解決應(yīng)用域隱私保護數(shù)據(jù)挖掘數(shù)據(jù)預(yù)處理的問題。定義了隱私保護數(shù)據(jù)挖掘本體，數(shù)據(jù)集成采用全局視圖（GAV）和局部視圖（LAV）相結(jié)合的混合本體集成方法，隱私保護策略集成采用單本體的方法，同時利用模式模糊化和角色模糊化，以提高模型的隱私保護性。

4、 數(shù)據(jù)挖掘服務(wù)是涉及數(shù)據(jù)、計算、挖掘知識的復(fù)雜服務(wù)應(yīng)用，用戶需要具備非常全面的專業(yè)知識才能正確使用?，F(xiàn)有的以系統(tǒng)為中心的設(shè)計中，數(shù)據(jù)挖掘解決方案特別重視算法和系統(tǒng)工程，而沒有首先探討最終用戶將如何方便地使用新的數(shù)據(jù)挖掘技術(shù)，使系統(tǒng)難于操作和使用。有的系統(tǒng)利用數(shù)據(jù)挖掘本體和預(yù)測執(zhí)行時間的方法來幫助用戶選擇正確并且高質(zhì)量的數(shù)據(jù)挖掘服務(wù)，但是數(shù)據(jù)挖掘本體只是對數(shù)據(jù)挖掘的方法進行枚舉，無法保證服務(wù)的質(zhì)量。在分析和總結(jié)了前人對于數(shù)據(jù)挖掘技術(shù)和

5、系統(tǒng)研究成果的基礎(chǔ)上，結(jié)合數(shù)據(jù)挖掘應(yīng)用的領(lǐng)域知識，遵循以用戶為中心的設(shè)計理念，提出了以用戶為中心的數(shù)據(jù)挖掘本體，一方面根據(jù)數(shù)據(jù)挖掘功能和挖掘?qū)ο髞斫M織數(shù)據(jù)挖掘算法，另一方面根據(jù)應(yīng)用領(lǐng)域知識為用戶提供有效的數(shù)據(jù)挖掘應(yīng)用解決方案，幫助不同領(lǐng)域多層次用戶方便選擇數(shù)據(jù)挖掘服務(wù)。此外還進一步討論了基于本體描述語言（OWL）的數(shù)據(jù)挖掘本體實現(xiàn)。 具體的數(shù)據(jù)挖掘算法和域應(yīng)用解決方案是數(shù)據(jù)挖掘本體的實例，是用戶應(yīng)用的核心。研究了反洗錢領(lǐng)域數(shù)據(jù)挖

6、掘應(yīng)用解決方案實例，包括應(yīng)用域的層次，若干基本的數(shù)據(jù)挖掘算法，數(shù)據(jù)挖掘應(yīng)用解決方案和所用算法間的映射等。主要實現(xiàn)可疑交易甄別、交易網(wǎng)絡(luò)分析和洗錢模式發(fā)現(xiàn)等數(shù)據(jù)挖掘應(yīng)用，給出了可視化鏈接分析方法，可實現(xiàn)交互式可視化的交易網(wǎng)絡(luò)分析，提出了基于圖熵的鏈接發(fā)現(xiàn)算法，可有效地發(fā)現(xiàn)交易網(wǎng)絡(luò)的關(guān)鍵節(jié)點，給出改進的基于Apriori的SLAGM頻繁子圖發(fā)現(xiàn)算法，用于交易網(wǎng)絡(luò)的結(jié)構(gòu)分析。 用戶可利用域數(shù)據(jù)集成本體提供的語義模型，在數(shù)據(jù)挖掘本體的指

7、導(dǎo)下選擇數(shù)據(jù)挖掘算法和應(yīng)用解決方案以定義具體的數(shù)據(jù)挖掘任務(wù)。在用戶需求獲取完成以后，接下來就是要根據(jù)用戶需求選擇合適的數(shù)據(jù)挖掘服務(wù)執(zhí)行，而大多數(shù)最終用戶并不具備這樣的專業(yè)知識。從方便用戶的角度出發(fā)，系統(tǒng)需提供一套服務(wù)選擇機制，來幫助用戶選擇高質(zhì)量的數(shù)據(jù)挖掘服務(wù)。系統(tǒng)綜合通用WEB服務(wù)的評價標準、數(shù)據(jù)挖掘領(lǐng)域的專用評價因子及用戶評價反饋等多種因素及服務(wù)的動態(tài)性，給出了一個較全面的數(shù)據(jù)挖掘服務(wù)評價本體，討論了服務(wù)質(zhì)量的評價方法，給出了基于服