無結(jié)構(gòu)和半結(jié)構(gòu)信息檢索相關(guān)技術(shù)研究.pdf

1、信息檢索(Information Retrieval，IR)相關(guān)技術(shù)是當(dāng)前最為活躍的研究領(lǐng)域之一，它指的是對(duì)信息項(xiàng)進(jìn)行表示、組織、存貯和查詢。借助于計(jì)算機(jī)和網(wǎng)絡(luò)等信息技術(shù)，如今人們已經(jīng)能夠快速有效的檢索到所需的大量信息，但是，隨著信息時(shí)代的發(fā)展，信息總量進(jìn)一步增長(zhǎng)，如何按照給定的性能指標(biāo)在新的信息總量上更準(zhǔn)確的找到所需要的信息，這是擺在研究者面前的一個(gè)問題。 現(xiàn)代信息檢索均以一定的模型或者索引機(jī)制作為基礎(chǔ)。本文在信息檢索模型—互

2、關(guān)聯(lián)后繼樹—的基礎(chǔ)上，提出了若干算法模型以期達(dá)到更好的檢索性能，并使之適用于一些新的應(yīng)用領(lǐng)域。 本文前面部分總結(jié)了互關(guān)聯(lián)后繼樹本身的模型和特點(diǎn)。為了進(jìn)一步提高模型的檢索速度，本文提出在二元后繼樹的基礎(chǔ)上提高排序程度，從而得到了雙排序后繼樹(Double Order Successive Tree，DOST)。然后本文進(jìn)一步討論了該模型與pat數(shù)組結(jié)構(gòu)的關(guān)系，從而進(jìn)一步奠定了互關(guān)聯(lián)后繼樹體系在信息檢索方面的理論基礎(chǔ)。作為文本檢索和

3、XML檢索的共同的基礎(chǔ)，二元后繼樹模型對(duì)于支持無結(jié)構(gòu)和半結(jié)構(gòu)化數(shù)掘檢索意義重大。因此本文對(duì)圍繞該模型的一系列問題進(jìn)行了進(jìn)一步研究，本文討論了分庫(kù)合庫(kù)算法，模型增量修改，壓縮編碼等算法問題及相應(yīng)措施。 近年來，以XML為代表的半結(jié)構(gòu)化數(shù)據(jù)相關(guān)應(yīng)用得到迅速發(fā)展。如何利用半結(jié)構(gòu)化數(shù)據(jù)中現(xiàn)有的結(jié)構(gòu)信息優(yōu)化檢索以及如何進(jìn)行半結(jié)構(gòu)化數(shù)據(jù)中的全文信息進(jìn)行綜合查詢，這是信息檢索領(lǐng)域面臨的新問題。本文討論了將二元后繼樹引入XML索引領(lǐng)域得到的半結(jié)

4、構(gòu)化信息檢索模型-Xistree-的基本性質(zhì)和相關(guān)算法。文中在實(shí)現(xiàn)Xistree模型的基礎(chǔ)上，首先與XISS進(jìn)行了對(duì)比實(shí)驗(yàn)，然后與有名的Native XML DB實(shí)用系統(tǒng)Timber和XIndice進(jìn)行了對(duì)比實(shí)驗(yàn)。結(jié)果表明，本系統(tǒng)在大數(shù)據(jù)集下，對(duì)于已知路徑模式的簡(jiǎn)單查詢和分支算法的性能都取得了非常好的成果。 將文本等無結(jié)構(gòu)化數(shù)據(jù)的檢索轉(zhuǎn)化為半結(jié)構(gòu)化檢索問題從而最終實(shí)現(xiàn)基于語義的檢索是當(dāng)前研究者們努力的一個(gè)方向，因此基于概念語義的

5、半結(jié)構(gòu)化信息檢索受到人們的普遍關(guān)注的信息檢索新領(lǐng)域。如何更準(zhǔn)確的度量用戶需求和數(shù)據(jù)之間的關(guān)系，更高效的返回結(jié)果從而提高用戶的搜索體驗(yàn)，將成為未來的研究發(fā)展進(jìn)一步需要解決的問題。在本文中，主要針對(duì)半結(jié)構(gòu)化數(shù)據(jù)中的概念檢索問題，提出了概念語義模型構(gòu)建的基本思想以及概念語義相關(guān)度匹配算法思路以及如何利用XML的結(jié)構(gòu)信息進(jìn)行SLCA查詢。與以往的SLCA算法相比，本文所提出的算法在時(shí)間復(fù)雜度上有了較大提高。 概念相關(guān)性是信息檢索的重要內(nèi)

6、容，為了自動(dòng)發(fā)現(xiàn)概念相關(guān)性，需要借助概念相關(guān)頻繁項(xiàng)挖掘算法，因此本文還提出了在一種模式數(shù)據(jù)上挖掘的算—自適應(yīng)的頻繁項(xiàng)挖掘算法。本文首先提出了一種基于FP-tree的簡(jiǎn)單深度優(yōu)先搜索算法NDFS，并簡(jiǎn)單分析了其在不同數(shù)據(jù)集上的特性；隨后本文進(jìn)一步將NDFS和經(jīng)典的FP-growth算法進(jìn)行結(jié)合，提出了一種在挖掘過程中根據(jù)局部空間特征動(dòng)態(tài)采用不同策略的自適應(yīng)算法(Self-Adaptive FP-growth，SAFP)。 本文對(duì)我