基于主題爬行技術(shù)的網(wǎng)絡(luò)地理信息的分布式存儲(chǔ)與檢索方法研究.pdf

1、主題爬行是互聯(lián)網(wǎng)中獲取特定領(lǐng)域信息的重要技術(shù),隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,從中獲取準(zhǔn)確、實(shí)用、質(zhì)量較高的網(wǎng)頁信息已經(jīng)成為一個(gè)常見的難題,通用搜索引擎在爬行廣度和爬行精度方面有著嚴(yán)重的局限性,對于不同領(lǐng)域和不同背景的查詢條件,檢索結(jié)果的全面性和質(zhì)量并不高,因此,不能滿足當(dāng)前的用戶需求。面向網(wǎng)絡(luò)地理信息的主題搜索引擎作為專業(yè)的主題檢索技術(shù),有著領(lǐng)域強(qiáng)、精度高和速度快等特點(diǎn),成為當(dāng)前搜索引擎技術(shù)的前沿?zé)狳c(diǎn)。主題爬行是搭建垂直搜索引擎平臺(tái)的核心技術(shù)

2、,其主要通過信息爬取、中文分詞、主題相關(guān)度模型和構(gòu)建索引來完成網(wǎng)頁信息的抽取、相關(guān)性判定等工作,同時(shí),網(wǎng)絡(luò)地理信息數(shù)據(jù)的規(guī)模在不斷擴(kuò)大,引入基于Hadoop框架的分布式存儲(chǔ)和檢索方法,以滿足海量地理數(shù)據(jù)高效的組織與管理,為面向地理信息主題搜索引擎的存儲(chǔ)與檢索提供了新的思路和方法,具體而言,本文的主要研究內(nèi)容分為以下四個(gè)方面:
　　(1)研究了主題爬行技術(shù)原理和傳統(tǒng)的主題相關(guān)度模型的構(gòu)建方法。針對地理數(shù)據(jù)特殊的結(jié)構(gòu)特點(diǎn),提出了一種基

3、于分塊的地理信息主題相關(guān)度模型(SVSM),設(shè)計(jì)了一種主題相關(guān)度模型的改進(jìn)算法,利用空間向量之間的夾角余弦值來衡量分塊文檔間的相似度,并綜合分析網(wǎng)頁文本相關(guān)度和地理相關(guān)性,從而獲取到高質(zhì)量的地理網(wǎng)頁文檔。
　　(2)研究了簡化地理實(shí)體構(gòu)成的方法。通過闡述地理實(shí)體的定義及特征現(xiàn)象,采用面向?qū)ο蟮姆椒▽⒌匚锍橄鬄榈乩韺?shí)體,并將地理實(shí)體分解為最小邏輯單元-元對象,封裝地物的主題特征、空間位置特征和時(shí)間維特征等屬性信息。
　　(3)

4、研究了地理實(shí)體數(shù)據(jù)在分布式框架下的組織與存儲(chǔ)方法。利用HDFS分布式文件系統(tǒng)和HBase大數(shù)據(jù)存儲(chǔ)機(jī)制,在處理大規(guī)模地理數(shù)據(jù)集時(shí),利用MapReduce并行機(jī)制,合理分配Master JobTracker控制節(jié)點(diǎn)和Slave TaskTracker節(jié)點(diǎn)集的工作任務(wù),采用分布式集群的優(yōu)勢提供給用戶高效的檢索服務(wù)。
　　(4)研究了面向城市交通信息檢索技術(shù)的應(yīng)用方法。根據(jù)其信息本身具有種類多、變化多、屬性多等特點(diǎn),對交通實(shí)體按功能分層

5、劃分,以HBase面向列存儲(chǔ)機(jī)制為大數(shù)據(jù)建立城市交通網(wǎng)各級物理結(jié)構(gòu),結(jié)合WebGIS地圖服務(wù),設(shè)計(jì)了城市交通信息的存儲(chǔ)與查詢方法。
　　本文利用面向地理信息的垂直搜索引擎技術(shù),通過基于分塊的向量空間模型,確定網(wǎng)頁文檔主題相關(guān)度,引入Hadoop框架的分布式并行執(zhí)行機(jī)制,從而對地理信息進(jìn)行優(yōu)化存儲(chǔ)與檢索,結(jié)合WebGIS交互性服務(wù)界面,提供給用戶高質(zhì)量的可視化地理信息網(wǎng)絡(luò)檢索服務(wù)。主題搜索引擎從本質(zhì)上加強(qiáng)了抓取互聯(lián)網(wǎng)信息的能力,從而