基于Hadoop的地理實(shí)體對(duì)象化存儲(chǔ)方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)發(fā)展與變革的推進(jìn),“智慧城市”建設(shè)步伐的加快,地理實(shí)體時(shí)空數(shù)據(jù)規(guī)模隨之不斷擴(kuò)大,數(shù)據(jù)中心硬件建設(shè)和管理維護(hù)的成本也不斷增加,如何及時(shí)有效的存儲(chǔ)和處理這些海量時(shí)空數(shù)據(jù),成為城市建設(shè)中的一大瓶頸。Hadoop是一個(gè)能夠充分利用網(wǎng)絡(luò)實(shí)現(xiàn)資源和計(jì)算能力共享的分布式框架,基于Hadoop的時(shí)空數(shù)據(jù)存儲(chǔ)就是將海量時(shí)空數(shù)據(jù)分布給網(wǎng)絡(luò)中的各個(gè)服務(wù)器節(jié)點(diǎn)來實(shí)現(xiàn)其存儲(chǔ),緩解了單機(jī)數(shù)據(jù)存儲(chǔ)與處理中心的壓力,為云環(huán)境下的時(shí)空數(shù)據(jù)的并行處理提供了技

2、術(shù)支持,實(shí)現(xiàn)了資源共享。本文以地理實(shí)體為出發(fā)點(diǎn),結(jié)合面向?qū)ο蠹夹g(shù),將地理實(shí)體在Hadoop環(huán)境下抽象為時(shí)空對(duì)象并將其時(shí)空屬性進(jìn)行封裝,以構(gòu)成時(shí)空對(duì)象的最小單元——元對(duì)象作為Hadoop環(huán)境下的最小存儲(chǔ)單元,利用基于Hadoop框架所具有的分布式存儲(chǔ)機(jī)制,實(shí)現(xiàn)在計(jì)算機(jī)集群系統(tǒng)中時(shí)空數(shù)據(jù)的分布式存儲(chǔ),重點(diǎn)研究了基于Hadoop框架的時(shí)空數(shù)據(jù)存儲(chǔ)模型的構(gòu)建和并行化查詢方法。具體研究了以下幾方面內(nèi)容:
　　(1)探索Hadoop環(huán)境下的地

3、理實(shí)體時(shí)空數(shù)據(jù)組織方法。通過采用面向?qū)ο蟪橄蠹夹g(shù),將地理實(shí)體在Hadoop環(huán)境下進(jìn)行對(duì)象化封裝,將元對(duì)象作為時(shí)空對(duì)象的最小組成單元的同時(shí),也作為在Hadoop環(huán)境下進(jìn)行時(shí)空數(shù)據(jù)時(shí)的最小組織單元。
　　(2)構(gòu)建基于Hadoop的時(shí)空數(shù)據(jù)存儲(chǔ)模型。在對(duì)Hadoop存儲(chǔ)框架的架構(gòu)特點(diǎn)與工作原理進(jìn)行分析和研究的基礎(chǔ)上,利用HDFS和HBase進(jìn)行數(shù)據(jù)節(jié)點(diǎn)的部署,并在主服務(wù)器MasterServer端建立時(shí)空對(duì)象與其構(gòu)成元對(duì)象之間的映射關(guān)

4、系,實(shí)現(xiàn)數(shù)據(jù)的快速存取。
　　(3)研究校園實(shí)體在Hadoop環(huán)境下的數(shù)據(jù)組織方法和物理存儲(chǔ)表設(shè)計(jì)。將校園實(shí)體抽象為校園實(shí)體對(duì)象,并由道路、服務(wù)設(shè)施、建筑物和移動(dòng)對(duì)象等組合而成,各對(duì)象與其構(gòu)成元對(duì)象之間通過id進(jìn)行映射。
　　(4)提出一種以MapReudce為原型的Hadoop時(shí)空數(shù)據(jù)查詢并行化框架。通過對(duì)空間數(shù)據(jù)查詢流程及優(yōu)化方法的分析,結(jié)合MapReduce并行運(yùn)算原理,設(shè)計(jì)了時(shí)空范圍和k最近鄰并行查詢方法,實(shí)現(xiàn)數(shù)據(jù)的