頻繁模式挖掘算法與剪枝策略研究.pdf

1、頻繁模式挖掘是一類基本的數(shù)據(jù)挖掘問題，可以廣泛應(yīng)用于關(guān)聯(lián)規(guī)則分析、相關(guān)性分析、孤立點(diǎn)分析、分類和聚類等多種數(shù)據(jù)挖掘任務(wù)，是一個(gè)具有重要理論意義和廣闊應(yīng)用前景的課題。本文對頻繁模式挖掘問題進(jìn)行了深入研究和探索，主要內(nèi)容如下： 1.對頻繁序列挖掘問題進(jìn)行深入研究，探討典型的挖掘算法-GSP、SPADE、SPAM、PrefixSpan，在此基礎(chǔ)上，應(yīng)用新的擴(kuò)展策略，提出了一種全新的、高效的頻繁序列挖掘算法-FINDER。該算法采用深度

2、優(yōu)先策略枚舉搜索空間，使用垂直位圖與水平位圖向量格式表示項(xiàng)集、事務(wù)數(shù)據(jù)庫、序列，摒棄了以往算法所采用的復(fù)雜的散列技術(shù)和數(shù)據(jù)庫的多遍掃描。FINDER算法采用頻繁項(xiàng)集序列擴(kuò)展策略，最大限度地減少非頻繁擴(kuò)展。最后采用權(quán)威數(shù)據(jù)集生成程序生成測試數(shù)據(jù)集，驗(yàn)證算法的正確性與有效性。新算法FINDER的效率雖然沒有SPAM高，但是，效率接近于SPAM，與其他典型的算法相比，效率提高約3～5倍。 2.對FINDER算法進(jìn)行改進(jìn)，采取格理論對枚

3、舉空間進(jìn)行劃分，設(shè)計(jì)并行序列挖掘算法pFINDER。pFINDER繼承了FINDER的特性，仍然沒有采用散列技術(shù)，具有較好的局部性特征。pFINDER采取中間數(shù)據(jù)的劃分技術(shù)，減少了遠(yuǎn)程數(shù)據(jù)的同步與數(shù)據(jù)傳輸。因此，pFINDER算法具有良好的可伸縮性。 3.結(jié)合加權(quán)頻繁序列挖掘問題，改進(jìn)FINDER，設(shè)計(jì)交互式加權(quán)頻繁序列挖掘算法。該算法采取項(xiàng)重命名機(jī)制，把加權(quán)項(xiàng)轉(zhuǎn)化為平凡項(xiàng)，使之適合于有效的頻繁序列挖掘算法，簡化了加權(quán)序列挖掘問

4、題，特別適合于交互式挖掘。該算法對于實(shí)際應(yīng)用特別有效。 4.頻繁模式挖掘是一項(xiàng)十分復(fù)雜的I/O密集型和計(jì)算密集型的挖掘任務(wù)，搜索空間的剪枝是有效提高效率的手段。通過對頻繁模式挖掘算法搜索空間的深入研究，在認(rèn)真分析現(xiàn)有剪枝策略的基礎(chǔ)上提出新的搜索空間剪枝策略SEP和IEP。同時(shí)證明了相關(guān)的定理與推論，保證了兩種剪枝策略的理論正確性。 5.對典型的頻繁模式挖掘算法進(jìn)行分析，應(yīng)用新的剪枝策略SEP與IEP，對文獻(xiàn)資料上普遍認(rèn)為

5、比較高效的SPAM、SPADE、MAFIA、CHARM等頻繁模式挖掘算法進(jìn)行改進(jìn)，形成新的頻繁序列挖掘算法或頻繁項(xiàng)集挖掘算法SPAM+、SPADE+、MAFIA+、CHARM+，結(jié)合公認(rèn)的測試數(shù)據(jù)集或測試集生成程序，對各算法進(jìn)行實(shí)驗(yàn)，并進(jìn)行對比分析，以驗(yàn)證剪枝策略的正確性與有效性。實(shí)驗(yàn)表明，利用剪枝策略SEP、IEP改進(jìn)后的算法SPAM+、SPADE+、MAFIA+、CHARM+分別比原來的算法效率提高最多達(dá)10倍，對大數(shù)據(jù)集，效率的提