基于Hadoop平臺的聚類算法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)量呈指數(shù)式增長趨勢，傳統(tǒng)聚類算法存在著處理大數(shù)據(jù)時間長以及難以達(dá)到預(yù)期效果的缺陷，因此傳統(tǒng)的聚類方法已經(jīng)無法滿足需求。云計算平臺應(yīng)運(yùn)而生，它是由并行計算發(fā)展而來的，Hadoop是目前使用最廣的云計算平臺，通過把云平臺與聚類算法結(jié)合使用，可以有效處理大規(guī)模數(shù)據(jù)。MapReduce模型是Hadoop云計算平臺最核心的模塊，目前研究最多的就是基于MapReduce模型來提高聚類算法的效率，隨著數(shù)據(jù)量的不斷增長，利用M

2、apReduce模型處理大數(shù)據(jù)進(jìn)行聚類已經(jīng)成為研究的熱點。
　　在目前的關(guān)于云平臺的聚類方法研究中，關(guān)鍵問題是如何實現(xiàn)傳統(tǒng)的聚類算法的并行化，或者基于云平臺實現(xiàn)聚類算法的分布式架構(gòu)，而評價云計算平臺的性能指標(biāo)主要是加速比等。本文對基于云平臺的聚類算法進(jìn)行了深入的研究，并做了以下工作：
　　首先，針對Canopy-kmeans算法的不足，提出了一種改進(jìn)的方法。該方法通過分組和抽樣來降低算法的時間復(fù)雜度，并通過最大最小原則對Ca

3、nopy-kmeans算法進(jìn)行了改進(jìn)，以提高算法的有效性?；贛ATLAB的仿真結(jié)果表明，改進(jìn)算法的時效性和有效性都得到了改善?；贛apReduce模型，在Hadoop云平臺上實現(xiàn)了改進(jìn)的Canopy-kmeans算法。實驗結(jié)果表明，隨著節(jié)點數(shù)的線性增加，分布式集群的加速比呈線性增長趨勢，能高效處理大規(guī)模數(shù)據(jù)。
　　然后，針對一種新型的基于密度的聚類算法CFSFDP處理大數(shù)據(jù)量時間復(fù)雜度高的缺點，提出了一種改進(jìn)的算法R-CFSF

4、DP，該算法首先抽樣部分?jǐn)?shù)據(jù)，然后基于抽樣出來數(shù)據(jù)的最有“代表性”的m個點來歸類未被抽樣的數(shù)據(jù)?；贛ATLAB的仿真結(jié)果表明：R-CFSFDP算法大大降低了算法的時間復(fù)雜度。R-CFSFDP算法雖然時效性得到了提高，但是仿真結(jié)果也表明改進(jìn)算法的有效性有所下降，而且R-CFSFDP算法無法與云平臺有效結(jié)合，針對以上不足之處，本文又提出了n-CFSFDP算法：該算法首先將數(shù)據(jù)集進(jìn)行分組，然后采用CFSFDP算法對子數(shù)據(jù)集進(jìn)行聚類，最后依據(jù)