基于分布式的智能搜索引擎.pdf

1、隨著Internet網(wǎng)上的知識呈幾何級數(shù)式的增長，搜索引擎作為一個查詢用戶所需信息的工具，其作用越來越受到人們的重視。目前，一個優(yōu)秀的搜索引擎能夠大大地提高一個網(wǎng)站的點擊率，搜索引擎已經(jīng)成為網(wǎng)站的門戶。簡單地講：搜索引擎通過一個稱之為“網(wǎng)絡(luò)蜘蛛”的程序，將網(wǎng)頁上的內(nèi)容按一定的方式存放在自己的數(shù)據(jù)庫里，并晝夜不停地維護、更新該數(shù)據(jù)庫，當用戶提交查詢時，就從數(shù)據(jù)庫中找出與該關(guān)鍵字相關(guān)聯(lián)的信息，并按照一定的順序返回給用戶。與其它的技術(shù)一樣，搜

2、索引擎的發(fā)展也離不開對其理論基礎(chǔ)的研究。本文在對當前第二代搜索引擎系統(tǒng)進行理論分析的基礎(chǔ)上，結(jié)合最有代表性的Google公司的搜索引擎系統(tǒng)進行了詳細的系統(tǒng)分析，并討論了其中的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)和算法，在這個基礎(chǔ)上，我結(jié)合我當前正在進行開發(fā)的PIS個人智能搜索引擎項目，給出了我的基于分布式系統(tǒng)的架構(gòu)以及相關(guān)的算法，并給出了具體的實現(xiàn)。同時也考慮到第二代搜索引擎系統(tǒng)的種種不足，給出了智能搜索引擎系統(tǒng)的理論概述，并結(jié)合目前我的項目，進行了個性化搜索

3、的研究，給出了兩種創(chuàng)新的個性化搜索方法。 本文具體進行了兩個方面的論述： 1、分布式搜索引擎系統(tǒng)的設(shè)計與實現(xiàn)。盡管當前的搜索引擎系統(tǒng)已經(jīng)廣泛采用了分布式的系統(tǒng)架構(gòu)，但是由于受到搜索引擎系統(tǒng)軟件的設(shè)計和算法的制約，每個公司的實現(xiàn)方式不太一樣，本文根據(jù)我當前正在開發(fā)的PIS智能搜索引擎系統(tǒng)，提出了一個比較適合于基于主題的分布式搜索引擎的架構(gòu)，對其中的分布式頁面抓取系統(tǒng)和分布式等級計算系統(tǒng)進行了詳細的論述，并給出了具體模塊的設(shè)

4、計與實現(xiàn)方法，同時也提出了一種新的基于頁面分類的頁面等級計算算法——TopicPageRank算法。 2、智能化搜索引擎系統(tǒng)的設(shè)計。智能化的搜索引擎系統(tǒng)已經(jīng)被提出了很多年，但是至今依然發(fā)展緩慢，本文中我結(jié)合智能搜索引擎的相關(guān)理論知識，提出了兩種基于智能化搜索系統(tǒng)的個性化搜索方法——基于Blog的個性化方法和基于Aiax的個性化方法，通過與傳統(tǒng)的個性化方法進行融合，能夠提供出更精確的個性化搜索，針對不同的用戶，我們的個性化搜索系統(tǒng)