基于Hadoop的聚類算法的研究與應(yīng)用.pdf

1、隨著計(jì)算機(jī)信息技術(shù)的迅猛發(fā)展,人們能夠接觸的信息越來越多,數(shù)據(jù)的重要性也與日俱增。而數(shù)據(jù)具有海量、多樣化、異構(gòu)等特征,使得傳統(tǒng)的聚類分析方法很難滿足對(duì)海量數(shù)據(jù)的分析和處理,因此高效的聚類技術(shù)應(yīng)運(yùn)而生。
　　本文首先綜述了現(xiàn)有的聚類技術(shù)與并行化編程模型MapReduce,隨后提出了基于MapReduce的并行化聚類算法。這一算法建立在MapReduce并行框架的基礎(chǔ)之上,可以通過分布式計(jì)算框架,更好地將原本計(jì)算復(fù)雜度較高、內(nèi)存消耗較

2、大的聚類算法直接應(yīng)用于大規(guī)模數(shù)據(jù)聚類上。(1)當(dāng)CURE算法在處理不均勻的海量數(shù)據(jù)時(shí),針對(duì)隨機(jī)抽樣不具有代表性的問題,提出了一種健壯的并行化改進(jìn)算法。該算法使用Binary-Positive算法得到原始數(shù)據(jù)的有效屬性,并利用MapReduce并行框架對(duì)有效數(shù)據(jù)進(jìn)行層次聚類,從而實(shí)現(xiàn)了正確率與效率的一種權(quán)衡。實(shí)驗(yàn)分析表明,改進(jìn)后的CURE算法具有更高的執(zhí)行效率,并且聚類效果良好;(2)對(duì)于大規(guī)模數(shù)據(jù)庫中的的重復(fù)圖片,本文首先使用顏色直方圖