基于Spark的聚類集成系統(tǒng)研究與設計.pdf

1、隨著云計算技術的發(fā)展，大數(shù)據(jù)應用有了更廣的擴展與延伸。大數(shù)據(jù)的價值開始日益受到重視，人們對數(shù)據(jù)處理的實時性和有效性的要求也在不斷提高。聚類分析技術在大數(shù)據(jù)中的應用，使得人們從數(shù)據(jù)中獲取信息、知識和決策支持更加容易。但是，傳統(tǒng)串行式的聚類算法在處理海量或者高維數(shù)據(jù)時，聚類的速度不夠快，且單一聚類算法在處理新的數(shù)據(jù)時表現(xiàn)不盡如人意（泛化性較差）;在面對大規(guī)模數(shù)據(jù)時，受制于內存容量，往往不能有效地運行，因而傳統(tǒng)串行式聚類算法已經難以滿足當前實

2、際應用的需求。
　　為提高聚類性能，作為當前新的研究熱點，聚類集成技術已被證明可以較大地提高傳統(tǒng)聚類算法的性能。并行計算模型MapReduce的出現(xiàn)，使得大量用戶能夠在集群上分析超大數(shù)據(jù)集。然而MapReduce模型不是萬能的，針對多數(shù)分布式聚類算法在基于MapReduce模型做并行時，采取的不合理并行策略以及并行聚類結果不理想等缺陷。本文提出基于彈性分布式數(shù)據(jù)集(RDDs)的分布式聚類集成算法，充分利用RDDs模型和聚類集成算法

3、的優(yōu)勢，有效提高聚類分析在大數(shù)據(jù)應用中的聚類結果質量和處理能力。算法首先設計一個基于RDDs的分布式鄰接表，解決關聯(lián)數(shù)據(jù)在分布式環(huán)境中的表示和存儲;其次利用分布式的共識函數(shù)模型，綜合幾個海量基聚類結果并用分布式鄰接表表示;最后運用改進的分布式最近鄰傳播算法(MDAP)，劃分分布式鄰接表以獲得最終的聚類結果。
　　Spark是繼Hadoop之后的新一代大數(shù)據(jù)分布式處理框架。本文設計并實現(xiàn)了基于Spark的聚類集成系統(tǒng)，實現(xiàn)海量數(shù)據(jù)存

4、儲、處理、互操作，為大數(shù)據(jù)挖掘應用提供高可靠性、高性能的聚類集成系統(tǒng)。在系統(tǒng)架構設計時，采用分層的設計思想、面向組件設計的思路構建系統(tǒng)，自下而上依次分為:分布式計算層、基礎平臺層、算法分析層、云服務層和用戶應用層。在系統(tǒng)實現(xiàn)的過程中，充分利用當下最流行的軟件框架，縮短系統(tǒng)的開發(fā)周期，同時提高系統(tǒng)的質量。
　　最后在本文的系統(tǒng)測試中，進行了系統(tǒng)核心算法的準確性測試和系統(tǒng)的性能測試，通過結果的分析與對比，證明了本文工作的有效性和實用性