分布式并行環(huán)境下林地落界數(shù)據(jù)快速統(tǒng)計(jì)技術(shù)研究.pdf

1、林地管理是森林資源管理的基礎(chǔ)，國(guó)家為了進(jìn)一步提升森林資源的整體監(jiān)測(cè)和管理水平，在《全國(guó)林地保護(hù)利用規(guī)劃綱要（2010-2020年）》的指導(dǎo)下，開(kāi)展全國(guó)林地“一張圖”建設(shè)。其中整合了近期高分辨率遙感數(shù)據(jù)、林地落界數(shù)據(jù)、基礎(chǔ)地理數(shù)據(jù)以及林業(yè)相關(guān)數(shù)據(jù)，形成了涉及各級(jí)（縣、省、國(guó)家）微觀或至宏觀管理與應(yīng)用需要的多尺度多業(yè)務(wù)類型的海量數(shù)據(jù)，僅林地落界小班數(shù)據(jù)已達(dá)6738.88萬(wàn)條。隨著林地?cái)?shù)據(jù)呈指數(shù)增長(zhǎng)，面臨體量如此巨大、數(shù)據(jù)類型繁多、高速變化、

2、價(jià)值密度低的空間數(shù)據(jù)，當(dāng)前系統(tǒng)中采用的數(shù)據(jù)模型和統(tǒng)計(jì)技術(shù)對(duì)支持海量數(shù)據(jù)多維快速統(tǒng)計(jì)的局限性表現(xiàn)得越來(lái)越突出。因此本文在分布式并行環(huán)境下，對(duì)林地落界數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)模型和快速統(tǒng)計(jì)技術(shù)進(jìn)行研究。
　　本文針對(duì)林地“一張圖”系統(tǒng)中面臨的海量數(shù)據(jù)動(dòng)態(tài)統(tǒng)計(jì)的問(wèn)題，以多維數(shù)據(jù)模型、并行計(jì)算、數(shù)據(jù)挖掘等理論和技術(shù)為基礎(chǔ)，通過(guò)對(duì)多維統(tǒng)計(jì)模型、并行數(shù)據(jù)優(yōu)化部署、并行統(tǒng)計(jì)計(jì)算、統(tǒng)計(jì)結(jié)果匯集與緩存管理這四個(gè)關(guān)鍵技術(shù)的研究，形成了一個(gè)高效、快速的森林資源數(shù)

3、據(jù)統(tǒng)計(jì)技術(shù)體系，并通過(guò)設(shè)計(jì)實(shí)驗(yàn)對(duì)相關(guān)技術(shù)點(diǎn)進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明文章提出的數(shù)據(jù)模型和技術(shù)適合林地落界數(shù)據(jù)多維動(dòng)態(tài)統(tǒng)計(jì)的需求。本文所做研究如下:(1)林地落界統(tǒng)計(jì)應(yīng)用需求和數(shù)據(jù)特點(diǎn)分析，提出了分布式并行環(huán)境下林地落界快速統(tǒng)計(jì)技術(shù)體系，并對(duì)體系中涉及的多維統(tǒng)計(jì)模型、并行數(shù)據(jù)優(yōu)化部署、并行統(tǒng)計(jì)計(jì)算、統(tǒng)計(jì)結(jié)果匯集與緩存管理內(nèi)容給出了解決思路。(2)林地落界數(shù)據(jù)多維統(tǒng)計(jì)模型研究。通過(guò)對(duì)林地落界數(shù)據(jù)特點(diǎn)和統(tǒng)計(jì)尺度分析，建立基于星型模型的林地落界數(shù)據(jù)

4、立方體，構(gòu)建因子組合模型，并在基礎(chǔ)上結(jié)合統(tǒng)計(jì)尺度，構(gòu)建因子組合統(tǒng)計(jì)模型，實(shí)現(xiàn)不同尺度下的林地落界數(shù)據(jù)多維屬性統(tǒng)計(jì)和空間統(tǒng)計(jì)。(3)林地落界數(shù)據(jù)優(yōu)化部署研究。通過(guò)對(duì)林地落界統(tǒng)計(jì)粒度的劃分與分配、索引體系研究，解決統(tǒng)計(jì)粒度在分布式并行環(huán)境下的管理問(wèn)題。對(duì)林地落界統(tǒng)計(jì)任務(wù)的內(nèi)涵進(jìn)行分析，確定把維表在各節(jié)點(diǎn)復(fù)制，對(duì)林地落界事實(shí)表進(jìn)行劃分的數(shù)據(jù)劃分思路。結(jié)合應(yīng)用場(chǎng)景的特點(diǎn)，提出了基于Hilbert空間填充曲線的動(dòng)態(tài)網(wǎng)格空間數(shù)據(jù)劃分算法，從而確定林

5、地落界統(tǒng)計(jì)粒度的大小。在此基礎(chǔ)上，提出了基于任務(wù)量和圖著色理論的空間數(shù)據(jù)部署方案。并基于統(tǒng)計(jì)特征，提出了基于GTMPR-tree(Graphy-Coloring theory based Multi-tiers Parallel R-tree)的多層索引體系。并通過(guò)測(cè)試表明以縣為單位的空間數(shù)據(jù)粒度存儲(chǔ)單位更適合并行快速統(tǒng)計(jì)的需求，且通過(guò)變異系數(shù)(C.V)衡量通過(guò)任務(wù)量改進(jìn)的基于圖著色的空間部署方案，結(jié)果表明改進(jìn)的算法使得數(shù)據(jù)在各節(jié)點(diǎn)的分

6、布更為均衡，均衡度提高了2倍多。(4)林地落界數(shù)據(jù)并行統(tǒng)計(jì)計(jì)算研究。通過(guò)給出統(tǒng)計(jì)任務(wù)粒度的大小，并行統(tǒng)計(jì)計(jì)算模型，以及提出基于GTMPR-tree的任務(wù)劃分模型，解決了統(tǒng)計(jì)任務(wù)資源調(diào)度的問(wèn)題。(5)統(tǒng)計(jì)結(jié)果匯集和緩存管理研究。針對(duì)影響統(tǒng)計(jì)效率的統(tǒng)計(jì)結(jié)果和緩存，給出了基于靜態(tài)緩存表和動(dòng)態(tài)語(yǔ)義緩存的二級(jí)緩存機(jī)構(gòu)和混合緩存管理策略，進(jìn)一步提出了基于相關(guān)性分析的緩存優(yōu)化模型和基于評(píng)價(jià)機(jī)制的統(tǒng)計(jì)更新模型，來(lái)優(yōu)化統(tǒng)計(jì)緩存。通過(guò)實(shí)驗(yàn)給出了潛在的有價(jià)值