基于數(shù)據(jù)流的分布式并行譜聚類算法的研究.pdf

1、在信用卡欺詐檢測(cè)、股票和證券市場(chǎng)交易(金融分析)、網(wǎng)絡(luò)入侵監(jiān)測(cè)、社交網(wǎng)絡(luò)分析等現(xiàn)實(shí)世界的行為活動(dòng)中，數(shù)據(jù)以無(wú)限的、實(shí)時(shí)的、動(dòng)態(tài)的流形式出現(xiàn)。根據(jù)數(shù)據(jù)流無(wú)窮、實(shí)時(shí)、有序、大規(guī)模等特性可知，對(duì)靜態(tài)數(shù)據(jù)進(jìn)行聚類的算法無(wú)法達(dá)到數(shù)據(jù)流的處理要求。本文針對(duì)以上問(wèn)題從三個(gè)方面予以研究：
　　1、根據(jù)CluStream聚類算法的主要架構(gòu)思想，把OOSCA算法(Online Offline Spectral Clustering Algorithm

2、，OOSCA)分為在線層匯總數(shù)據(jù)概要結(jié)構(gòu)信息和離線層精確聚類雙層架構(gòu)模型。由于數(shù)據(jù)流大規(guī)模高維的特性，本文利用核函數(shù)成分分析法(KPCA)對(duì)數(shù)據(jù)進(jìn)行降維，又因?yàn)榻鐦?biāo)窗口不能解決滑動(dòng)窗口數(shù)據(jù)模型，而滑動(dòng)窗口對(duì)大量信息的維護(hù)增加了數(shù)據(jù)存儲(chǔ)的負(fù)載，因此，提出基于KPCA的時(shí)間衰減的數(shù)據(jù)流在線聚類方法。
　　2、離線層采用基于圖論思想的譜聚類規(guī)劃方法，可以利用圖的最優(yōu)、最佳劃分的解決方案來(lái)代替對(duì)大量數(shù)據(jù)集的聚類操作。它能夠適用于現(xiàn)實(shí)世界中

3、任何形態(tài)的樣本集合，并可以最大程度地接近最優(yōu)解。首先，本文利用NIF(New Intuitionistic Fuzzy,NIF)相似度量的方法創(chuàng)建相似矩陣。為了提高聚類的效果和精度，采用改進(jìn)的t-最近鄰方法對(duì)相似矩陣進(jìn)行稀疏化，并對(duì)其結(jié)果作離群點(diǎn)調(diào)優(yōu)處理。應(yīng)用ε-最近鄰粗糙集模型計(jì)算k-means的初始聚類中心并對(duì)數(shù)據(jù)進(jìn)行聚類。
　　3、在數(shù)據(jù)進(jìn)行聚類的過(guò)程中存在大規(guī)模的繁雜運(yùn)算，因此算法時(shí)間復(fù)雜度較高。在構(gòu)建相似矩陣、求解Lap