基于hadoop的海量圖片存儲模型的分析和設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展與深入應(yīng)用，出現(xiàn)了越來越多像“新浪”“騰訊”“淘寶”等大型門戶網(wǎng)站或電子商務(wù)網(wǎng)站。這些網(wǎng)站都存儲有大量圖片資源，且圖片數(shù)量呈爆炸式的增長。鑒于商業(yè)存儲擴容成本太高，如何在滿足高并發(fā)訪問的前提下構(gòu)建廉價高效的圖片存儲管理系統(tǒng)已經(jīng)成為軟件架構(gòu)師在工作中遇到的最令人頭疼的問題。
　　云存儲概念的提出給我們指出了一種解決思路，通過研究分析，我們可以采用分布式存儲解決上述問題。本文在分析國內(nèi)外現(xiàn)有的分布式存儲系統(tǒng)實現(xiàn)的基

2、礎(chǔ)上，通過對Hadoop的HDFS、MapReduce技術(shù)的研究以及自身圖片存儲的業(yè)務(wù)需求分析和實際軟硬件實力評估，提出了一種基于Hadoop的海量圖片存儲模型。該模型的實現(xiàn)以Hadoop的HDFS分布式文件系統(tǒng)為基礎(chǔ)，硬件構(gòu)筑在普通的Linux機器集群上，通過內(nèi)部監(jiān)控實現(xiàn)高容錯、高響應(yīng)、負載均衡，對外提供服務(wù)滿足高并發(fā)高可靠的應(yīng)用。它采用了HA架構(gòu)和平滑擴容，保證了整個文件系統(tǒng)的可用性和擴展性。它同時采用扁平化的數(shù)據(jù)組織結(jié)構(gòu)，拋棄了傳

3、統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu)，可將文件名映射到文件的物理地址，簡化了文件的訪問流程，提供了良好的讀寫性能。本文主要研究內(nèi)容和創(chuàng)新點如下：
　　首先，通過對現(xiàn)今互聯(lián)網(wǎng)發(fā)展對圖片存儲的需求進行總結(jié)，分析了傳統(tǒng)商業(yè)存儲的不足，同時介紹分布式存儲的國內(nèi)外發(fā)展現(xiàn)狀，提出基于Hadoop的海量圖片存儲模型。
　　其次，根據(jù)圖片存儲的需求分析，基于Hadoop的MapReduce思想設(shè)計存儲模型，優(yōu)化編程實現(xiàn)，建立圖片存儲模型，實現(xiàn)圖片存取在高并

4、發(fā)高訪問下的高可靠性。系統(tǒng)采用Master/Slave架構(gòu)，通過Master的管理，實現(xiàn)在廉價PC機上部署系統(tǒng)前提下的高擴展性和高容錯性。此外，通過設(shè)計負載均衡和緩存系統(tǒng)，實現(xiàn)各存儲節(jié)點的存儲優(yōu)化和存儲系統(tǒng)的穩(wěn)定。
　　然后，論文基于Hadoop的分布式列數(shù)據(jù)庫Hbase，對圖片元數(shù)據(jù)存儲。通過圖片文件名設(shè)計、索引優(yōu)化，實現(xiàn)同一類型的圖片存儲物理位置盡可能相近或相鄰，提高海量圖片數(shù)據(jù)的查詢效率。
　　最后，論文搭建測試集群系