數(shù)據(jù)流聚類算法及其應(yīng)用.pdf

1、近年來，伴隨著網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展，產(chǎn)生了一種新式的數(shù)據(jù)模型——數(shù)據(jù)流。它常常產(chǎn)生于web 上的用戶點(diǎn)擊、網(wǎng)絡(luò)入侵檢測、實(shí)時監(jiān)控系統(tǒng)或無線傳感器網(wǎng)絡(luò)等動態(tài)環(huán)境中。相比較傳統(tǒng)據(jù)集，這些海量的數(shù)據(jù)流具有快速性、連續(xù)性、變化性、無限性等特點(diǎn)，使數(shù)據(jù)流的挖掘面臨著新的要求和挑戰(zhàn)。聚類分析作為數(shù)據(jù)挖掘領(lǐng)域的一個重要課題，能夠使未標(biāo)記數(shù)據(jù)按照指定屬性分組為不同的類，在近期得到廣泛研究和高度重視。本文以數(shù)據(jù)流聚類算法為研究內(nèi)容，異常數(shù)據(jù)點(diǎn)的檢測為研

2、究目標(biāo)，主要作了以下三個方面的工作：
　　 （1)總結(jié)了數(shù)據(jù)流模型及其聚類的相關(guān)概念和技術(shù)，并描述了數(shù)據(jù)流聚類的特殊要求以及目前國內(nèi)外數(shù)據(jù)流聚類算法。同時說明了異常檢測的定義、現(xiàn)有方法以及當(dāng)前所面臨的挑戰(zhàn)。
　　 （2)在高速網(wǎng)絡(luò)中，數(shù)據(jù)流具有高速、突發(fā)等特性，使得高速網(wǎng)絡(luò)中的異常檢測成為一個難點(diǎn)。本文提出了一種基于SSClu 樹的流聚類算法用于高速流的異常檢測。算法首先引入一種維持?jǐn)?shù)據(jù)流概要信息的SSClu樹；然后針對

3、數(shù)據(jù)流的高速特性，采用預(yù)先聚集和緩存機(jī)制。預(yù)先聚集是在數(shù)據(jù)流對象插入SSClu 樹聚類之前對其進(jìn)行預(yù)先聚類的過程，以處理突發(fā)高速數(shù)據(jù)流的到達(dá)；緩存機(jī)制是用于當(dāng)高速流到達(dá)時，暫存當(dāng)前來不及處理的數(shù)據(jù)流對象，解決了高速流不能及時聚類的問題。仿真結(jié)果表明，本算法能及時處理高速數(shù)據(jù)流，且具有較高的聚類精度，保證了高速流下異常檢測的準(zhǔn)確性。
　　 （3)針對無線傳感器網(wǎng)絡(luò)中的離群點(diǎn)檢測問題，考慮到無線傳感器網(wǎng)絡(luò)(Wireless Sens

4、orNetwork,WSN)環(huán)境分布式以及能源消耗的限制，提出了一種基于相似性群集模型的流聚類算法(Stream Cluster algorithm Based on Similarity Flocking model,SCBSF)。算法采用一種模擬群體運(yùn)動的群集模型將數(shù)據(jù)自我組織來形成聚類，這種自組織性更加適用于分布式環(huán)境批量數(shù)據(jù)點(diǎn)的聚類；同時通過群集規(guī)則來完成任意形狀簇的聚類，而不需要采用傳統(tǒng)二階段聚類思想，減少了算法計(jì)算和存儲復(fù)雜