基于Spark平臺的空間數(shù)據(jù)挖掘DBSCAN聚類算法并行化研究.pdf

1、DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法是由Ester Martin等人提出的一種基于密度方法進行聚類分析的算法，具有發(fā)現(xiàn)任何形狀的簇類、有效分辨噪聲點且對空間數(shù)據(jù)庫有良好支持的特點，已經(jīng)在空間數(shù)據(jù)挖掘（Spatial Data Mining, SDM）領(lǐng)域得到了廣泛的應用。然而，在一些大規(guī)模的空間數(shù)據(jù)挖掘中，隨著計算數(shù)據(jù)規(guī)模的增大，DBS

2、CAN算法的處理時間呈指數(shù)級上升，串行算法性能已經(jīng)無法滿足應用發(fā)展的實時性需求。針對這個問題，主要是通過集群、GPU、Hadoop等平臺構(gòu)建并行 DBSCAN聚類算法來解決，但是這些研究卻存在：傳統(tǒng)的并行處理平臺價格昂貴，可擴展性及容錯性較差，共享式架構(gòu)易造成數(shù)據(jù)傳輸瓶頸；Hadoop平臺在處理這類多迭代的聚類算法時，需要頻繁的進行數(shù)據(jù)讀寫，隨著數(shù)據(jù)量增大，處理效率將受到影響。Spark作為新一代的大規(guī)模數(shù)據(jù)處理快速通用引擎，抽象出彈性

3、分布式數(shù)據(jù)集（Resilient Distributed Dataset, RDD）來進行數(shù)據(jù)存儲，使得中間結(jié)果無須輸出到分布式文件系統(tǒng)，提高了數(shù)據(jù)處理的實時性，且保證了高擴展性，容錯性，可以很好地克服上述傳統(tǒng)并行平臺存在的問題。
　　本研究主要內(nèi)容包括：⑴空間數(shù)據(jù)挖掘中DBSCAN聚類算法并行化分析與并行方案設(shè)計。在實現(xiàn)DBSCAN聚類算法的基礎(chǔ)上，使用Intel VTune性能分析工具得到DBSCAN聚類算法中適合并行化的熱點

4、部分，并結(jié)合Spark平臺的平臺特征，設(shè)計合適的并行化方案。⑵基于單節(jié)點Spark平臺的DBSCAN并行聚類算法的實現(xiàn)與優(yōu)化。結(jié)合并行框架和并行算法流程圖實現(xiàn)了基于單節(jié)點Spark平臺的DBSCAN并行聚類算法。并從數(shù)據(jù)傳輸、數(shù)據(jù)序列化、資源參數(shù)三方面對單節(jié)點Spark平臺的并行算法進行了優(yōu)化，進一步提高并行算法的效率；同時將該算法與基于 OpenMP的并行算法進行性能對比。⑶為充分利用節(jié)點上的計算資源，進一步探討Spark集群模式下D

5、BSCAN聚類算法的并行實現(xiàn)研究。采用基于Docker容器技術(shù)、Yarn(Yet Another Resource Negotiator)資源管理器、Mesos資源管理器對算法進行并行化設(shè)計，使其能充分利用設(shè)備上的硬件資源，同時將該算法與基于傳統(tǒng)Hadoop集群平臺的并行算法進行性能對比。⑷將基于Spark平臺的DBSCAN并行算法應用于城市擁堵區(qū)域發(fā)現(xiàn)領(lǐng)域，驗證本文提出的并行算法的實用性與高效性。⑸對以上的研究內(nèi)容進行了具體的測試分析