流數(shù)據(jù)聚類算法的研究與改進(jìn).pdf

1、伴隨著計(jì)算機(jī)技術(shù)和信息全球化的高速發(fā)展，我們迎來了大數(shù)據(jù)時(shí)代，人們面臨著從數(shù)據(jù)中獲取有用信息以支持更好的決策和發(fā)展。面對著源源不斷產(chǎn)生的大量的流數(shù)據(jù)，如何從流數(shù)據(jù)中獲取知識越來越得到重視。
　　設(shè)計(jì)并實(shí)現(xiàn)一種既聚類質(zhì)量好和聚類效率高的數(shù)據(jù)流聚類算法是本課題的主要研究內(nèi)容，主要工作內(nèi)容如下：在對課題的領(lǐng)域進(jìn)行深入理解以后，研究了流數(shù)據(jù)的特性和處理流數(shù)據(jù)的聚類的要求與技術(shù)；總結(jié)了目前較經(jīng)典的流數(shù)據(jù)聚類算法的實(shí)現(xiàn)技術(shù)和優(yōu)缺點(diǎn)進(jìn)行了；并對

2、基于網(wǎng)格的聚類算法進(jìn)行重點(diǎn)研究。在以上工作的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了DD-Stream算法，該算法采用了CluStream算法中提及的雙層框架的思想。在在線層，不斷順序訪問數(shù)據(jù)集中的數(shù)據(jù)點(diǎn)，根據(jù)維度半徑的大小并按照一定的規(guī)則對數(shù)據(jù)空間進(jìn)行劃分，從而形成網(wǎng)格結(jié)構(gòu)，并得到數(shù)據(jù)流的概要信息，同時(shí)以網(wǎng)格單元特征向量的形式記錄這些信息。其中，為每個(gè)數(shù)據(jù)點(diǎn)設(shè)置了密度系數(shù)，密度系數(shù)和該數(shù)據(jù)點(diǎn)到達(dá)的時(shí)間點(diǎn)有關(guān)，它隨著時(shí)間遞減，將歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)的重要性區(qū)別

3、開來，體現(xiàn)了流數(shù)據(jù)的演化特征。同時(shí)，每個(gè)網(wǎng)格都有網(wǎng)格密度，每一個(gè)網(wǎng)格的網(wǎng)格密度由所有映射到該網(wǎng)格的數(shù)據(jù)點(diǎn)的密度系數(shù)形成，因此，網(wǎng)格密度隨著時(shí)間或者隨著新數(shù)據(jù)點(diǎn)的不斷加入而更新著。在后臺離線層把稠密網(wǎng)格衰退成稀疏網(wǎng)格的最小時(shí)間gap作為確定檢查、更新網(wǎng)格的時(shí)間間隔的長度，并根據(jù)網(wǎng)格密度和連通性對網(wǎng)格進(jìn)行聚類，聚類分成初始化聚類和調(diào)整聚類兩種，初始聚類只在第一個(gè)gap時(shí)進(jìn)行聚類形成初始聚類的結(jié)果，在此基礎(chǔ)上以后每隔gap就對網(wǎng)格進(jìn)行聚類并對