數(shù)據(jù)流聚類方法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的高速發(fā)展，以數(shù)據(jù)流形式呈現(xiàn)的數(shù)據(jù)信息大量涌現(xiàn)。例如傳感器網(wǎng)絡(luò)中傳回的傳感器數(shù)據(jù)，瀏覽網(wǎng)頁(yè)產(chǎn)生的網(wǎng)絡(luò)點(diǎn)擊流，證券買賣產(chǎn)生的實(shí)時(shí)交易信息等等。這些數(shù)據(jù)往往具有數(shù)據(jù)量大，潛在無(wú)限，產(chǎn)生速度快，數(shù)據(jù)分布隨時(shí)間變化等等特點(diǎn)。這些特點(diǎn)使得運(yùn)行其上的數(shù)據(jù)挖掘算法必須滿足如下條件：(1)整個(gè)數(shù)據(jù)流只被遍歷一次；(2)每個(gè)數(shù)據(jù)必須在很短的時(shí)間被處理；(3)整個(gè)處理過(guò)程占用的存儲(chǔ)空間是有限的；(4)算法應(yīng)盡可能考慮到數(shù)據(jù)流的演化。上述要求使得

2、傳統(tǒng)的聚類方法無(wú)法直接應(yīng)用到數(shù)據(jù)流上。 目前，已經(jīng)有一些學(xué)者提出了若干適用于數(shù)據(jù)流的聚類方法。但仍存在許多尚未解決的問(wèn)題。本文的貢獻(xiàn)包括： (1)本文提出了一種用以記錄數(shù)據(jù)流摘要信息的數(shù)據(jù)結(jié)構(gòu)DenseGrid樹(shù)(簡(jiǎn)稱DG樹(shù))，通過(guò)搜索樹(shù)中路經(jīng)將高維空間聚類問(wèn)題轉(zhuǎn)化成構(gòu)造DG樹(shù)并利用這種數(shù)據(jù)結(jié)構(gòu)搜索發(fā)現(xiàn)高密單元格的過(guò)程。實(shí)驗(yàn)表明，這種聚類方法具有良好的聚類效果和可擴(kuò)展性，并且可用于發(fā)現(xiàn)不同形狀的簇。 (2)本文提

3、出了一種可以響應(yīng)不同時(shí)間段的聚類請(qǐng)求的高維數(shù)據(jù)流聚類方法(DGMStream)。該方法使用傾斜時(shí)間窗口技術(shù)拓展了DG樹(shù)。從而在保持DG樹(shù)聚類性能的前提下，實(shí)現(xiàn)了高維數(shù)據(jù)流的多時(shí)間粒度聚類。 (3)結(jié)合傳統(tǒng)的Parzen窗方法并引入一種經(jīng)證明更加有效的歷史數(shù)據(jù)丟棄策略，本文提出了一種新的適用于數(shù)據(jù)流的概率密度估計(jì)方法(TPWD)。 (4)本文在(3)此基礎(chǔ)上，提出了一種計(jì)算整個(gè)數(shù)據(jù)集在低維空間投影的信息熵的方法，我們證明了