全文索引技術(shù)中索引歸并算法的研究與分析.pdf

1、索引的動(dòng)態(tài)維護(hù)與更新是全文檢索與全文索引技術(shù)中的一個(gè)重要研究和應(yīng)用方向，當(dāng)隨著Internet的迅速發(fā)展，互聯(lián)網(wǎng)上信息數(shù)據(jù)在急劇地增長，而在這種海量數(shù)據(jù)的情況下，新的數(shù)據(jù)在不斷增長，同時(shí)過時(shí)的數(shù)據(jù)就要被淘汰，這就需要對(duì)信息數(shù)據(jù)頻繁的插入和刪除，因此，索引的動(dòng)態(tài)維護(hù)中的歸并算法的研究也就處于了一個(gè)十分重要的地位。本論文主要針對(duì)常見的索引歸并算法進(jìn)行改良，并對(duì)改良的算法在時(shí)間效率以及可行性上進(jìn)行了研究論述。 索引的過程就是把原始的數(shù)

2、據(jù)處理成一個(gè)有利于高效檢索的數(shù)據(jù)形式，因此索引的基本結(jié)構(gòu)關(guān)系到動(dòng)態(tài)索引維護(hù)與更新的效率，包括建立索引的過程，索引的組織方式，正排表，倒排文件及倒排索引的建立，本文介紹了構(gòu)造倒排索引的過程，并分析靜態(tài)索引技術(shù)的優(yōu)缺點(diǎn)以及增量索引知識(shí)，還有索引動(dòng)態(tài)更新對(duì)信息檢索技術(shù)的重要性。 本文比較了各種索引更新策略，包括原地更新策略，重建策略，重新歸并更新策略，并且分析了這些策略的成本代價(jià)，在此基礎(chǔ)上研究了基于歸并策略的各種不同的索引歸并算法，

3、包括有立即歸并算法，對(duì)數(shù)歸并算法，幾何劃分歸并算法，類哈夫曼索引歸并算法，同時(shí)分析了他們的優(yōu)缺點(diǎn)，提出了各自的改良算法，其中本文的重點(diǎn)是在詳細(xì)分析幾何劃分歸并算法的基礎(chǔ)上，針對(duì)原有的幾何歸并算法在索引過程中沒有對(duì)文檔刪除，提出了帶有索引垃圾碎片的回收的新的幾何歸并算法，其中新算法采用了極限值的方法對(duì)刪除的文檔進(jìn)行處理。 最后通過一個(gè)開源的全文檢索與全文索引平臺(tái)測(cè)試了立即歸并算法，對(duì)數(shù)歸并算法及改進(jìn)算法的索引合并過程和時(shí)間，驗(yàn)證了