基于Hadoop的XML關(guān)鍵字查詢算法研究.pdf

1、可擴(kuò)展標(biāo)記語言(eXtensible Markup Language, XML)，是基于標(biāo)準(zhǔn)廣義標(biāo)記語言，用于定義語義標(biāo)記的一套規(guī)則。它已經(jīng)在數(shù)據(jù)挖掘、數(shù)據(jù)庫系統(tǒng)等諸多應(yīng)用領(lǐng)域發(fā)揮了重要的作用。XML正在成為數(shù)據(jù)管理與存儲(chǔ)的重要技術(shù)。為了能從海量XML數(shù)據(jù)中提取用戶所需要的信息，許多XML數(shù)據(jù)查詢方法應(yīng)運(yùn)而生，使得XML數(shù)據(jù)查詢成為相關(guān)領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　云計(jì)算是一種可以實(shí)現(xiàn)程序并行化的編程模型，簡單來說就是可以將大規(guī)模數(shù)據(jù)

2、分布存儲(chǔ)在由大量機(jī)器組成的集群中，同時(shí)集群本身可以由大量成本較低的計(jì)算機(jī)組成，而不用購置高配置的機(jī)器，這很大程度上是一種資源的節(jié)約。Hadoop作為一種主流的云計(jì)算平臺被人們廣泛關(guān)注，其自身方便而簡潔的特點(diǎn)，使得用戶編寫代碼能夠得心應(yīng)手。它的這種明顯的優(yōu)勢使得大規(guī)模XML關(guān)鍵字查詢所面臨的問題得到解決。
　　本文針對XML關(guān)鍵字查詢相關(guān)算法進(jìn)行了深入研究，并用Hadoop作為計(jì)算平臺，提出將查詢算法并行化的方案，主要研究工作如下：

3、
　　(1)針對目前XML關(guān)鍵字查詢算法存在的問題，本文根據(jù)Dewey編碼分布特點(diǎn)提出了一種智能分組方案，在查詢開始之前對 Dewey碼集合中的元素進(jìn)行分組。該分組方案在基于索引搜索算法的基礎(chǔ)上設(shè)計(jì)，并提出了智能分組索引查詢算法(Intelligent Indexed Lookup Eager, IILE)。對比實(shí)驗(yàn)的結(jié)果表明，提出的智能分組索引查詢算法獲得了較高的執(zhí)行效率。
　　(2)考慮到目前海量數(shù)據(jù)在單機(jī)上的運(yùn)行時(shí)間過