全文搜索技術(shù)

1、第1頁共4頁利用全文檢索技術(shù)實現(xiàn)校園網(wǎng)的信息檢索武漢市儀表電子學(xué)校于波摘要：本文利用全文檢索算法構(gòu)造了一個適用于校園網(wǎng)絡(luò)的搜索引擎，該引擎的主要特點(diǎn)是：將搜索引擎主要分為前端和后端，后端獲取Web文檔，然后分詞，建立和更新索引；前端提取索引庫中的內(nèi)容，向客戶提供檢索服務(wù)。關(guān)鍵詞：二叉樹、搜索引擎、網(wǎng)絡(luò)蜘蛛隨著Inter的飛速發(fā)展，各種網(wǎng)上應(yīng)用不斷發(fā)展。目前網(wǎng)上中文信息的數(shù)量增長迅猛，使得基于全文檢索技術(shù)的中文搜索引擎越來越多。而針對校園

2、網(wǎng)的檢索系統(tǒng)卻相對缺乏。校園網(wǎng)面對的是學(xué)校中的學(xué)生和老師用戶，其主要作用是方便用戶進(jìn)行資料的查詢，或是學(xué)術(shù)討論，或是友誼聯(lián)系等等。相對來說，在校園網(wǎng)中，數(shù)據(jù)量和數(shù)據(jù)的類型沒有Inter上的豐富，對查準(zhǔn)率的要求高于查全率，本文利用一種基于最大匹配法的全文檢索技術(shù)，構(gòu)造適用于局域網(wǎng)內(nèi)信息檢索的搜索引擎。1校園網(wǎng)搜索引擎的產(chǎn)生環(huán)境1.1將Inter網(wǎng)上的搜索引擎用于校園網(wǎng)的弊端近十年來，中文信息在Inter網(wǎng)上的迅速發(fā)展，產(chǎn)生了大量的中文搜索

3、引擎，比較著名的有：中文雅虎、搜狐、百度搜索、天網(wǎng)搜索、google搜索等。這些搜索引擎主要是針對Inter網(wǎng)上海量、無序的信息而設(shè)計的；對于校園內(nèi)的局域網(wǎng)來說，信息量遠(yuǎn)不如Inter上豐富和復(fù)雜，如果將以上搜索引擎用于校園網(wǎng)內(nèi)的信息檢索，無疑是“殺雞用牛刀”，而且會嚴(yán)重影響到檢索質(zhì)量。其原因如下：1、搜索引擎需要的存儲空間過大。以上所談到的檢索系統(tǒng)檢索的范圍是整個互聯(lián)網(wǎng)，所以其中的文檔數(shù)據(jù)庫將相當(dāng)大，而且不管是字索引還是詞索引其索引庫

4、所占的存儲空間都將很大。2、搜索引擎算法復(fù)雜。例如，檢索時需要遍歷Inter，搜索引擎必須通過某種算法選擇一個頁面作為初始URL開始訪問；在校園網(wǎng)中則無需進(jìn)行頁面選擇，可以直接將學(xué)校的主頁作為初始頁面。再如，更新Inter上的文檔數(shù)據(jù)庫時也是需要利用某種算法更新，并且更新后的數(shù)據(jù)庫中的頁面不可能覆蓋整個Inter上的中文網(wǎng)頁；而校園網(wǎng)的IP地址在一個有限的范圍內(nèi)，我們可以每隔一定的時間間隔（如一天、一星期或一個月）對文檔數(shù)據(jù)庫中的所有頁

5、面進(jìn)行更新，檢索時訪問到校園網(wǎng)內(nèi)的所有頁面。3、檢索的速度慢。文檔數(shù)據(jù)庫和索引庫的大量數(shù)據(jù)必然降低檢索速度，復(fù)雜的搜索算法也將花費(fèi)更多的時間。第3頁共4頁（2）指針指向檢索字串中第一個漢字，根據(jù)字段結(jié)構(gòu)信息調(diào)入對應(yīng)的二叉樹（3）遍歷二叉樹（4）若匹配成功，則根據(jù)節(jié)點(diǎn)中RF信息調(diào)入對應(yīng)文檔級索引表，轉(zhuǎn)7）（5）若匹配失敗，指針在檢索字串中右移一位，重新以最大匹配法切分字串，調(diào)入對應(yīng)二叉樹，重復(fù)3），4）（6）若依舊失敗，將用于匹配的字串?dāng)?shù)

6、減1，重復(fù)2），3），4），5）（7）根據(jù)索引表中文檔信息將文檔序號加入檢索管理鏈表，并保存文檔中的摘要（8）將剩余字串按以上方法繼續(xù)匹配，并把匹配得到的文檔序號加入檢索管理鏈表；（9）按檢索要求對鏈表中的文檔進(jìn)行“與”或“或”操作（10）若鏈表為“空”，則輸出“無相同匹配”；若鏈表不為“空”，則輸出檢索結(jié)果4搜索引擎的結(jié)構(gòu)檢索系統(tǒng)分為前端和后端，前端向客戶提供檢索服務(wù)，后端獲取Web文檔，并建立和更新索引。系統(tǒng)結(jié)構(gòu)如圖1：圖1檢索系統(tǒng)

7、結(jié)構(gòu)4.1獲取文檔數(shù)據(jù)庫和其他的全文檢索應(yīng)用系統(tǒng)一樣，本系統(tǒng)首先需要構(gòu)造一個適用于檢索的文本數(shù)據(jù)庫。所以獲取文檔數(shù)據(jù)庫的步驟為：步驟一：利用Robot（機(jī)器人）程序定期遍歷校園網(wǎng)內(nèi)所有站點(diǎn)，獲取相應(yīng)的Web頁面，并存儲于本地計算機(jī)中步驟二：識別和處理置標(biāo)命令，將Web頁面中的HTML文檔轉(zhuǎn)換為正規(guī)的文本文檔存放步驟三：保存全部地址信息到URL隊列中這樣，就得到了整個網(wǎng)絡(luò)中的全文檔數(shù)據(jù)庫。4.2建立Web頁面索引基本的索引創(chuàng)建方法分為兩步