備份系統(tǒng)中流式全文索引嵌入模型的研究與設(shè)計(jì).pdf

1、隨著本地存儲(chǔ)設(shè)備容量的增大，文件數(shù)量的增多，數(shù)據(jù)備份系統(tǒng)中的歸檔集規(guī)模也日益龐大?，F(xiàn)有的數(shù)據(jù)備份系統(tǒng)，無論是開源還是商用，歸檔管理中都缺乏對(duì)歸檔文件按內(nèi)容搜索的功能，用戶在歸檔集中尋找相關(guān)內(nèi)容的信息時(shí)，需要手動(dòng)在成千上萬個(gè)歸檔文件中查閱，嚴(yán)重地降低了信息查找的效率。 本文首次提出將全文搜索與數(shù)據(jù)備份系統(tǒng)相結(jié)合的思路，即在備份文件的同時(shí)對(duì)文件建立全文索引，最終實(shí)現(xiàn)對(duì)歸檔集進(jìn)行按內(nèi)容搜索的功能。備份系統(tǒng)對(duì)文件的處理是一次掃描的，為了

2、提高性能，我們希望備份和建索引的過程是在一次掃描過程中同步完成的。然而，備份系統(tǒng)中文件是以數(shù)據(jù)流的形式輸入的，備份處理是對(duì)數(shù)據(jù)流中連續(xù)的固定大小的數(shù)據(jù)段分次進(jìn)行，這意味著一個(gè)文件可能要被分成多段處理?，F(xiàn)有的開源全文搜索引擎，處理文件時(shí)都是以完整文件為處理單位，不支持對(duì)文件數(shù)據(jù)流的多段處理。在數(shù)據(jù)備份系統(tǒng)中，我們需要的是一個(gè)能夠支持文件流式全文索引的子模塊。 本文介紹了全文搜索引擎原理及中文分詞等關(guān)鍵技術(shù)，通過分析各種類型的文件格

3、式以及研究開源搜索引擎框架Lucene的內(nèi)部結(jié)構(gòu)，建立了一個(gè)流式全文索引的嵌入模型，然后用半形式化的語言，對(duì)數(shù)據(jù)流及流式嵌入模型的特點(diǎn)進(jìn)行了分析與描述；在該理論模型的指導(dǎo)下，結(jié)合現(xiàn)有技術(shù)實(shí)現(xiàn)了一個(gè)應(yīng)用原型，該原型支持對(duì)文件數(shù)據(jù)流的分段文本提取和全文索引，并能夠作為子模塊嵌入到數(shù)據(jù)備份系統(tǒng)中，使備份與全文索引過程同步，有效地把全文搜索同數(shù)據(jù)備份系統(tǒng)結(jié)合起來，最終實(shí)現(xiàn)了對(duì)備份生成的歸檔集進(jìn)行按內(nèi)容搜索的功能。本文同時(shí)也為有相似需求的領(lǐng)域提供