基于衰減窗口與剪枝鏈表樹的高維數據流聚類算法研究.pdf

1、近幾年來,隨著以互聯網為代表的計算機信息技術的普及,數據呈飛速增長的趨勢,人們積累的信息量達到了TB級,甚至PB級。在現實生活中,許多數據是以動態(tài)的“連續(xù)數據流”的形式出現的,它不同于傳統的數據被存在靜態(tài)介質中,可以被多次訪問。數據流的特點是:(1)數據規(guī)模大；(2)維數高；(3)到達速度快；(4)潛在無序性；(5)每個元素只能被訪問一次。因此,許多傳統的聚類算法已經無法獲得有意義的聚類結果,針對高維數據流普遍存在的“維度災難"問題,本

2、文將重點圍繞如下幾個問題展開:
　　 (1)如何設計有效的聚類算法,適應持續(xù)快速到來的高維數據流?
　　 (2)在聚類過程中,如何發(fā)現更多的聚類,提高聚類效果?
　　 (3)在聚類過程中,如何降低內存消耗?
　　 (4)在聚類過程中,如何提高算法的效率,減少算法的運行時間?
　　 本文在對經典的數據流聚類算法進行學習和研究后,針對經典算法存在的不足,進行了改進和提高,提出了一種新的高維數據流聚類算

3、法。主要工作包括以下三個方面:
　　 (1)為了有效地控制內存規(guī)模,在聚類過程中減少內存消耗,本文提出了一種概要數據結構一剪枝鏈表樹,簡稱PL-Tree,用來保存數據流的摘要信息,在有任何聚類請求時,能夠在線輸出近似的聚類結果。本文采用核心技術數據淘汰和剪枝策略,有效地控制了內存規(guī)模,提高了算法的運行效率。
　　 (2)為了設計一種高效的聚類算法,適應持續(xù)到來的高維數據流,本文基于PL-Tree概要數據結構,提出了一種基