流數(shù)據(jù)的層次聚類和頻繁模式的挖掘算法研究.pdf

1、流數(shù)據(jù)的聚類或頻繁模式挖掘要求僅掃描數(shù)據(jù)集一次，就得到聚類或者頻繁模式挖掘的結(jié)果。本文主要研究如何提高流數(shù)據(jù)的聚類和頻繁模式挖掘算法的精度，在文中我們提出了兩個新的算法：基于密度的高精度流聚類算法Density-based HighPrecision Streaming-data Clustering(DHPSC)和FP-tree單遍掃描算法Single-Pass ScanFP(SPSFP)。在本文提出的DHPSC算法中，我們使用基于密

2、度的凝聚層次聚類法。該方法使用凝聚層次聚類法作為算法框架，在這種框架下，核心問題就是如何合并兩個簇。目前，許多的流數(shù)據(jù)聚類算法僅僅使用簇的中心點去代表整個簇，這種做法會導(dǎo)致不好的結(jié)果。通過細致的分析我們發(fā)現(xiàn)，在數(shù)據(jù)的單遍掃描過程中，簇內(nèi)距離、簇間距離和方差都是可以精確計算的，從而保證聚類結(jié)果的精度。這樣，我們可以使用新的基于密度的公式，做為簇間是否合并的標準。實驗結(jié)果表明，新算法會節(jié)省時間和空間方面的開銷，并取得較好結(jié)果。流數(shù)據(jù)的頻繁模

3、式挖掘方面，F(xiàn)P-growth算法是頻繁模式挖掘中用于靜態(tài)數(shù)據(jù)集的經(jīng)典算法。但是FP-tree的創(chuàng)建需要掃描數(shù)據(jù)庫兩遍，在處理流數(shù)據(jù)方面收到了很大的限制，使用滑動窗口雖然能在一定程度上解決這一問題，但是依然會造成FP-tree生成時的不準確，影響到后續(xù)的挖掘。本文提出的SFSFP算法，單遍掃描數(shù)據(jù)集即可準確創(chuàng)建出FP-tree。與傳統(tǒng)的FP-tree創(chuàng)建算法相比，本文算法僅掃描數(shù)據(jù)庫一遍，并且不需要將整個數(shù)據(jù)集調(diào)入內(nèi)存。該方法不僅節(jié)省了