桌面搜索引擎的研究與實現(xiàn).pdf

1、針對傳統(tǒng)意義上的搜索引擎和新近提出的桌面搜索的概念，本文提出一整套的搜索引擎從客戶端到服務端的實現(xiàn)方案，并予以實現(xiàn)。此方案包括網(wǎng)絡蜘蛛、多線程下載器、UNICODE文件存儲模塊、HTML/XML語法解析器、分詞系統(tǒng)、散列二級索引數(shù)據(jù)庫、WebService、Pagerank(網(wǎng)頁排名)、劃詞搜索。 網(wǎng)絡蜘蛛也就是Spider，負責將網(wǎng)絡上的各種鏈接信息，包括普通網(wǎng)頁信息、辦公資源、圖片資料和音樂視頻資源和flash動畫，網(wǎng)絡蜘蛛

2、把它們的URL地址及相關信息(如更新時間、來源網(wǎng)站)存進數(shù)據(jù)庫，并將所有URL的鏈接情況記錄下來，以等待后面的Pagerank模塊調用。 多線程下載器將URL下載為文件后，用UNICODE更名機制存到本地硬盤。 HTML/XML語法解析器負責將已經存好的HTML文檔解析，剔除無用的HTML標識，并根據(jù)有用的HTML標識將文本重新組織為XML。 分詞則負責將英文和中文段落進行詞分割。 散列二級索引數(shù)據(jù)庫是根

3、據(jù)分詞的結果，建立從詞到URL和從URL到詞的兩個查詢數(shù)據(jù)庫。 而WebService則是用于用戶交互的網(wǎng)絡服務，負責響應用戶的查詢請求，并調用已經建立好的索引數(shù)據(jù)庫返回查詢結果。 Pagerank利用網(wǎng)絡蜘蛛創(chuàng)建好的鏈接信息，采用被二維線性收斂方法增強的冪法，計算每個URL的網(wǎng)絡排名。 劃詞搜索是運行在客戶端，能夠監(jiān)視用戶的劃詞動作并快速返回其要搜索的關鍵詞查詢結果。 論文首先介紹了課題涉及到的主要理論