基于MapReduce的柵格地圖切片系統(tǒng).pdf

1、近年來，地理信息技術(shù)的飛速發(fā)展和空間遙感儀器分辨率的不斷提高，使得地圖應(yīng)用領(lǐng)域不斷擴(kuò)大、柵格地圖數(shù)據(jù)量急劇增長(zhǎng)?，F(xiàn)階段WebGIS系統(tǒng)通常預(yù)先對(duì)柵格地圖數(shù)據(jù)進(jìn)行切片，并以瓦片金字塔形式組織柵格地圖數(shù)據(jù)。當(dāng)客戶端訪問WebGIS系統(tǒng)獲取地圖數(shù)據(jù)時(shí)，服務(wù)器端將預(yù)先切片完成的瓦片數(shù)據(jù)返回給客戶端。傳統(tǒng)單機(jī)式地圖切片系統(tǒng)受限于單一節(jié)點(diǎn)的計(jì)算能力和存儲(chǔ)能力，漸漸成為海量柵格地圖數(shù)據(jù)處理技術(shù)發(fā)展的瓶頸。加快海量柵格地圖數(shù)據(jù)的切片速度，對(duì)提高WebG

2、IS的效率具有重要意義。
　　云計(jì)算技術(shù)能夠?qū)?shù)據(jù)和計(jì)算任務(wù)分散到大量計(jì)算機(jī)節(jié)點(diǎn)上進(jìn)行管理，具備高可靠性和高可擴(kuò)展性等特點(diǎn)。云計(jì)算技術(shù)提供了前所未有的計(jì)算能力和存儲(chǔ)能力，為提高海量柵格地圖數(shù)據(jù)的切片速度提供了新的基礎(chǔ)平臺(tái)。本文基于分布式計(jì)算框架MapReduce搭建了柵格地圖數(shù)據(jù)切片系統(tǒng)，解決了海量柵格地圖數(shù)據(jù)的切片問題。本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下：
　　1.對(duì)現(xiàn)有分布式柵格地圖切片系統(tǒng)關(guān)鍵技術(shù)進(jìn)行了研究。指出了當(dāng)前柵格

3、地圖切片系統(tǒng)的不足之處。針對(duì)海量地圖數(shù)據(jù)的切片需求，設(shè)計(jì)了基于MapReduce的柵格地圖切片系統(tǒng)。
　　2.對(duì)HDFS的冗余備份機(jī)制進(jìn)行了研究。提出了一種地圖源文件拆分算法。該算法利用MapReduce的“本地計(jì)算”機(jī)制，能夠減少地圖切片過程中的網(wǎng)絡(luò)數(shù)據(jù)傳輸，使切片任務(wù)在實(shí)際存儲(chǔ)地圖數(shù)據(jù)的節(jié)點(diǎn)上運(yùn)行，降低了切片系統(tǒng)對(duì)網(wǎng)絡(luò)帶寬資源的依賴程度。
　　3.對(duì)瓦片金字塔構(gòu)建方案進(jìn)行了研究。結(jié)合瓦片金字塔的模型結(jié)構(gòu)，設(shè)計(jì)了一種利用瓦

4、片緩存技術(shù)的瓦片金字塔構(gòu)建方法。通過降低瓦片縮放時(shí)的計(jì)算量來加快瓦片金字塔的構(gòu)建速度。利用金字塔內(nèi)瓦片的排布規(guī)律，減少瓦片金字塔構(gòu)建過程中的內(nèi)存使用量。
　　4.對(duì)海量數(shù)據(jù)下的瓦片金字塔并行構(gòu)建技術(shù)進(jìn)行了研究。結(jié)合 MapReduce的應(yīng)用特點(diǎn)，提出了一種基于MapReduce的迭代式瓦片金字塔構(gòu)建方案。該方案將格式塊文件分配到多個(gè)節(jié)點(diǎn)獨(dú)立切片，實(shí)現(xiàn)了瓦片金字塔的并行構(gòu)建。通過合并瓦片金字塔的底層數(shù)據(jù)并將其作為下一輪切片操作的輸入

5、數(shù)據(jù)，實(shí)現(xiàn)了迭代式切片。該方案利用云計(jì)算技術(shù)強(qiáng)大的計(jì)算能力和存儲(chǔ)能力，提高了海量柵格地圖數(shù)據(jù)的切片速度。
　　結(jié)合上述研究成果，本文實(shí)現(xiàn)了基于MapReduce的海量柵格地圖數(shù)據(jù)切片系統(tǒng)，并針對(duì)系統(tǒng)切片時(shí)間進(jìn)行了性能測(cè)試，實(shí)際測(cè)試結(jié)果證實(shí)了本文所述內(nèi)容的可行性及有效性。測(cè)試結(jié)果證明了在柵格地圖數(shù)據(jù)量保持不變的情況下，系統(tǒng)的切片時(shí)間隨著集群中切片節(jié)點(diǎn)數(shù)的增加而線性下降。本文利用云計(jì)算技術(shù)提高了地圖切片系統(tǒng)的切片速度，解決了海量柵格地