基于hdfs的云存儲系統(tǒng)的研究與實現(xiàn)

1、基于HDFS的云存儲系統(tǒng)的研究與實現(xiàn)宋杰[1]，邢四為[1]，王磊[1]，陳林鋒[1](1.安徽大學計算機科學與技術學院，安徽合肥230601)摘要：針對海量數(shù)據(jù)的存儲問題，傳統(tǒng)方法一般是通過購置更多數(shù)量的服務器來提升計算和存儲能力，存在硬件成本高，存儲效率低等缺點。本文旨在通過構建基于Hadoop分布式文件系統(tǒng)的云存儲系統(tǒng)，解決海量數(shù)據(jù)存儲難題。文章首先闡述了云存儲的相關理論，接著對HDFS的管理機制和MapReduce編程模型進行了

2、分析，最后結合實際需求，設計并實現(xiàn)了一個基于Hadoop的云存儲系統(tǒng)。經(jīng)過測試，該系統(tǒng)有效的解決了海量數(shù)據(jù)存儲管理問題，具有開發(fā)成本低、處理速度快、運行穩(wěn)定、易于擴展等特點。關鍵字：HadoopHDFSMapReduce云存儲分布式系統(tǒng)中圖分類號：TP306文獻標志碼：A引言引言隨著計算機網(wǎng)絡技術的快速發(fā)展，信息量呈爆炸性增長，數(shù)據(jù)存儲逐漸成為制約企業(yè)發(fā)展的關鍵問題。企業(yè)現(xiàn)有系統(tǒng)的擴展能力差，難以滿足企業(yè)快速變化的業(yè)務需求[1]。傳統(tǒng)的

3、NAS方案擴展能力有限，并且面向企業(yè)級的NAS設備價格往往非常昂貴，購買以及安裝獨立的NAS設備，將面臨著巨大的經(jīng)濟壓力和額外的維護成本。作為一種新興的商業(yè)計算模型，云計算具有動態(tài)部署的功能，可以利用廉價的服務器構建企業(yè)級存儲平臺，具有更加彈性、更加安全以及更低的成本[2]。本文通過對開源云計算平臺Hadoop的研究，提出了基于Hadoop構建云存儲平臺，通過采用Linux集群技術、分布式文件系統(tǒng)和云計算框架，實現(xiàn)了海量數(shù)據(jù)存儲業(yè)務1。

4、1.云存儲及其架構模式云存儲及其架構模式1.1云存儲相關理論云存儲概念是在云計算概念上延伸和發(fā)展出來的一個新的概念。云存儲的本質(zhì)是服務[3][4]，云存儲通過計算機集群技術、網(wǎng)格技術和分布式文件系統(tǒng)等技術，將網(wǎng)絡中大量各種不同類型的存儲設備組織起來協(xié)同工作，提供統(tǒng)一的數(shù)據(jù)存儲服務和業(yè)務訪問功能的一種存儲模式[5]。云存儲模式比較傳統(tǒng)存儲模式具有如下特點：第一，在功能上，相比傳統(tǒng)存儲模式面向如高性能計算、事務處理應用，云存儲模式具有面向多

5、種類型的網(wǎng)絡在線存儲服務的特點；第二，在性能上，云存儲模式具有高數(shù)據(jù)安全性、高可靠性、高效率，以及適合處理大規(guī)模用戶、網(wǎng)絡環(huán)境復雜多變等業(yè)務的特點；第項目基金：2010安徽省自然科學基金研究項目（KJ2010B123）作者簡介：宋杰(1966)，男，副教授，研究方向為嵌入式系統(tǒng)、計算機原理與接口、生物信息學；邢四為（1988），男，碩士生，主要研究方向為嵌入式系統(tǒng)應用數(shù)據(jù)集，每個小數(shù)據(jù)集都并行處理，處理后存儲到分布式數(shù)據(jù)庫[10]。Ma

6、pReduce數(shù)據(jù)處理流程如圖2所示。split0split1split2map()map()map()……………reduce()reduce()part0part1InputMappersdleResultReducersOutput圖2MapReduce數(shù)據(jù)處理流程每個MapReduce任務都被初始化為一個Job，每個Job又可以分為兩個階段：map階段和reduce階段。這兩個階段分別用兩個函數(shù)表示，即map函數(shù)和reduce函數(shù)

7、。map函數(shù)接收一個形式的輸入，然后同樣產(chǎn)生一個形式的中間輸出，Hadoop函數(shù)接收一個如形式的輸入，然后對這個value集合進行處理，每個reduce產(chǎn)生0或1個輸出，reduce的輸出也是形式的[11]。2.云存儲系統(tǒng)的設計與實現(xiàn)云存儲系統(tǒng)的設計與實現(xiàn)本文在Hadoop框架的基礎上，運用MapReduce編程模型[12][13][14]，設計并實現(xiàn)了云存儲系統(tǒng)。2.1系統(tǒng)架構設計系統(tǒng)由四部分構成，分別為表現(xiàn)層、業(yè)務邏輯層、數(shù)據(jù)存儲層

8、、基礎設施層，系統(tǒng)框架如圖3所示。表現(xiàn)層：展現(xiàn)給用戶的Web界面。業(yè)務邏輯層：負責對Hadoop集群中數(shù)據(jù)的操作，對數(shù)據(jù)業(yè)務的邏輯處理。數(shù)據(jù)存儲層：由數(shù)據(jù)庫、HDFS和MapReduce構成，負責對數(shù)據(jù)管理與分配任務，為系統(tǒng)提供分布式計算和存儲。基礎設施層：即硬件基礎設施，主要包括磁盤、服務器等。2.2系統(tǒng)功能設計系統(tǒng)功能設計包括普通用戶管理、管理員管理和平臺管理三個功能模塊。圖3云存儲系統(tǒng)總體框架圖普通用戶管理：包括創(chuàng)建、查看目錄，上