基于Spark的聚類集成系統(tǒng)研究與設計.pdf_第1頁
已閱讀1頁,還剩81頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、隨著云計算技術的發(fā)展,大數(shù)據(jù)應用有了更廣的擴展與延伸。大數(shù)據(jù)的價值開始日益受到重視,人們對數(shù)據(jù)處理的實時性和有效性的要求也在不斷提高。聚類分析技術在大數(shù)據(jù)中的應用,使得人們從數(shù)據(jù)中獲取信息、知識和決策支持更加容易。但是,傳統(tǒng)串行式的聚類算法在處理海量或者高維數(shù)據(jù)時,聚類的速度不夠快,且單一聚類算法在處理新的數(shù)據(jù)時表現(xiàn)不盡如人意(泛化性較差);在面對大規(guī)模數(shù)據(jù)時,受制于內存容量,往往不能有效地運行,因而傳統(tǒng)串行式聚類算法已經難以滿足當前實

2、際應用的需求。
  為提高聚類性能,作為當前新的研究熱點,聚類集成技術已被證明可以較大地提高傳統(tǒng)聚類算法的性能。并行計算模型MapReduce的出現(xiàn),使得大量用戶能夠在集群上分析超大數(shù)據(jù)集。然而MapReduce模型不是萬能的,針對多數(shù)分布式聚類算法在基于MapReduce模型做并行時,采取的不合理并行策略以及并行聚類結果不理想等缺陷。本文提出基于彈性分布式數(shù)據(jù)集(RDDs)的分布式聚類集成算法,充分利用RDDs模型和聚類集成算法

3、的優(yōu)勢,有效提高聚類分析在大數(shù)據(jù)應用中的聚類結果質量和處理能力。算法首先設計一個基于RDDs的分布式鄰接表,解決關聯(lián)數(shù)據(jù)在分布式環(huán)境中的表示和存儲;其次利用分布式的共識函數(shù)模型,綜合幾個海量基聚類結果并用分布式鄰接表表示;最后運用改進的分布式最近鄰傳播算法(MDAP),劃分分布式鄰接表以獲得最終的聚類結果。
  Spark是繼Hadoop之后的新一代大數(shù)據(jù)分布式處理框架。本文設計并實現(xiàn)了基于Spark的聚類集成系統(tǒng),實現(xiàn)海量數(shù)據(jù)存

4、儲、處理、互操作,為大數(shù)據(jù)挖掘應用提供高可靠性、高性能的聚類集成系統(tǒng)。在系統(tǒng)架構設計時,采用分層的設計思想、面向組件設計的思路構建系統(tǒng),自下而上依次分為:分布式計算層、基礎平臺層、算法分析層、云服務層和用戶應用層。在系統(tǒng)實現(xiàn)的過程中,充分利用當下最流行的軟件框架,縮短系統(tǒng)的開發(fā)周期,同時提高系統(tǒng)的質量。
  最后在本文的系統(tǒng)測試中,進行了系統(tǒng)核心算法的準確性測試和系統(tǒng)的性能測試,通過結果的分析與對比,證明了本文工作的有效性和實用性

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論