一種多數(shù)據(jù)流聚類異常檢測算法.pdf

1、數(shù)據(jù)流作為一種新型的數(shù)據(jù)模型,在許多應(yīng)用諸如網(wǎng)絡(luò)流量管理、金融數(shù)據(jù)處理、交通治理以及電子商務(wù)中都扮演著重要的角色。在數(shù)據(jù)流挖掘技術(shù)日益得到廣泛關(guān)注的今天,多數(shù)據(jù)流處理問題給研究人員帶來了新的挑戰(zhàn):一方面,由于多數(shù)據(jù)流既要求保留數(shù)據(jù)流的無限和快速等特性,還需要利用有限的系統(tǒng)資源減少多數(shù)據(jù)流不確定性因素對挖掘過程造成的影響;另一方面,由于多數(shù)據(jù)流之間具有相關(guān)性,其處理技術(shù)則要求不僅關(guān)注一條數(shù)據(jù)流的流量變化,同時還需要根據(jù)大量數(shù)據(jù)流之間的相關(guān)

2、性進(jìn)行研究。因此仍存在許多問題尚待解決,學(xué)術(shù)界對多數(shù)據(jù)流的聚類分析和異常檢測問題進(jìn)行廣泛的研究。
　　 本文主要研究基于聚類的多數(shù)據(jù)流異常檢測問題,首先總結(jié)數(shù)據(jù)流挖掘的相關(guān)理論;對現(xiàn)有的聚類算法進(jìn)行詳細(xì)的分類介紹。結(jié)合多數(shù)據(jù)流的特點,總結(jié)多數(shù)據(jù)流聚類的研究方向和現(xiàn)有的異常檢測的方法,分析了多數(shù)據(jù)流異常檢測存在的難點和面臨的挑戰(zhàn)。在分析了聚類的多數(shù)據(jù)流異常檢測所存在問題的基礎(chǔ)上,本文設(shè)計了一種性能較好的多數(shù)據(jù)流異常檢測算法。該算法

3、首先對多數(shù)據(jù)流進(jìn)行預(yù)處理,根據(jù)數(shù)據(jù)流序列的相關(guān)度特征運用離散小波變換,得到壓縮的流序列,降低了系統(tǒng)內(nèi)存存儲需求,加快了計算機處理的時間;建立了改進(jìn)的相似度矩陣,提高了聚類結(jié)果的準(zhǔn)確率;通過計算每個數(shù)據(jù)點的局部可達(dá)密度,對核心對象進(jìn)行標(biāo)記,從而實現(xiàn)基于密度的聚類,生成任意形狀的聚類;最后對聚類產(chǎn)生的被定義為噪聲的集合,進(jìn)行增量的LOF計算,根據(jù)設(shè)定的離群點閾值,判斷多數(shù)據(jù)流中的異常。
　　 本文在聚類的同時,運用離群點檢測算法實現(xiàn)