數(shù)據(jù)流關(guān)聯(lián)規(guī)則挖掘研究及其應(yīng)用.pdf

1、數(shù)據(jù)挖掘是處理海量數(shù)據(jù)的一個(gè)重要方法,而將其應(yīng)用到數(shù)據(jù)流中是一個(gè)具有挑戰(zhàn)性的新興領(lǐng)域.數(shù)據(jù)流中的數(shù)據(jù)挖掘技術(shù)在入侵檢測系統(tǒng),傳感器網(wǎng)絡(luò),電信行業(yè)等領(lǐng)域具有十分廣泛的應(yīng)用背景,因此開展這方面的研究具有非常重要的現(xiàn)實(shí)意義。
　　 傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法只能處理數(shù)據(jù)集中的離散屬性而無法處理連續(xù)屬性,這是制約它在實(shí)際項(xiàng)目中應(yīng)用的主要瓶頸之一。在靜態(tài)數(shù)據(jù)集中,部分學(xué)者提出了離散化、模糊化等方法將連續(xù)屬性加入關(guān)聯(lián)規(guī)則挖掘過程中,但是沒有文獻(xiàn)

2、在數(shù)據(jù)流環(huán)境中專門研究和討論此問題。因此,本論文通過深入研究數(shù)據(jù)流關(guān)聯(lián)規(guī)則挖掘問題,提出了模糊關(guān)聯(lián)規(guī)則挖掘方法和基于模糊關(guān)聯(lián)規(guī)則的實(shí)時(shí)數(shù)據(jù)挖掘體系。具體的研究結(jié)果如下:
　　 1.針對數(shù)據(jù)流動(dòng)態(tài)變化的問題,提出了隸屬度函數(shù)偏移度指標(biāo)(MFB measure)來度量連續(xù)屬性的當(dāng)前隸屬度函數(shù)在當(dāng)前數(shù)據(jù)中的合適程度。實(shí)驗(yàn)結(jié)果表明,隸屬度函數(shù)偏移度指標(biāo)能有效地捕捉數(shù)據(jù)流中的變化。
　　 2.針對傳統(tǒng)數(shù)據(jù)流關(guān)聯(lián)規(guī)則挖掘算法無法將連

3、續(xù)屬性加入挖掘過程中的問題,提出了基于聚類算法的模糊關(guān)聯(lián)規(guī)則挖掘算法FFI-Stream。該算法利用隸屬度函數(shù)偏移度指標(biāo)監(jiān)測隸屬度函數(shù)的合適程度,及時(shí)地利用數(shù)據(jù)流聚類算法動(dòng)態(tài)地更新隸屬度函數(shù)。實(shí)驗(yàn)結(jié)果表明,FFI-Stream具有較好的性能。
　　 3.針對FFI-Stream算法無法有效處理具有高維連續(xù)屬性的數(shù)據(jù)流的問題,提出基于遺傳算法的數(shù)據(jù)流模糊關(guān)聯(lián)規(guī)則挖掘算法GA-FFI-Stream。GA-FFI-Stream動(dòng)態(tài)地維

4、護(hù)數(shù)據(jù)流中的概要結(jié)構(gòu),使其適應(yīng)在數(shù)據(jù)流中內(nèi)存、CPU等資源有限的特點(diǎn);采用啟發(fā)式信息提高基于遺傳算法提取隸屬度函數(shù)方法的效率。實(shí)驗(yàn)結(jié)果表明,該算法能夠克服FFI-Stream算法在連續(xù)屬性高維時(shí)性能差的問題。
　　 4.針對數(shù)據(jù)流中的數(shù)據(jù)挖掘技術(shù)在實(shí)際項(xiàng)目中的需求,提出了基于模糊關(guān)聯(lián)規(guī)則的實(shí)時(shí)數(shù)據(jù)挖掘體系(Real-time Data Mining System Based on FuzzyAssociation Rules,R