基于主題相關(guān)的P2P全文搜索引擎的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展和網(wǎng)絡(luò)資源的指數(shù)級數(shù)增長，搜索引擎的發(fā)展水平在一定程度上決定著互聯(lián)網(wǎng)資源的利用率，但現(xiàn)有搜索引擎存在的問題，促使學(xué)術(shù)界不斷進(jìn)行各種搜索理論和技術(shù)的研究。P2P全文搜索引擎作為一種全新的搜索方式，日益受到學(xué)術(shù)界的關(guān)注，各種改進(jìn)的搜索算法被相繼提出，并應(yīng)用于實(shí)踐。 本文分析了國內(nèi)外有關(guān)搜索引擎的研究現(xiàn)狀，剖析了全文搜索與P2P技術(shù)，闡述了P2P全文搜索技術(shù)的優(yōu)點(diǎn)和缺點(diǎn)，指出了當(dāng)前P2P全文搜索引擎存在查全率的提高

2、將導(dǎo)致搜索時間較大增長和網(wǎng)絡(luò)效率明顯降低的問題。針對此問題，提出了“基于k-高頻詞主題相關(guān)性的搜索路由算法”，并把此算法應(yīng)用到基于主題相關(guān)的P2P全文搜索引擎原型中，通過實(shí)驗(yàn)驗(yàn)證了算法的可行性和有效性。 本文的主要內(nèi)容有： (1)剖析了全文搜索和P2P技術(shù)，這是P2P全文搜索引擎的基礎(chǔ)，也是本論文必須的背景知識； (2)分析了開發(fā)P2P系統(tǒng)的開放平臺JXTA和全文搜索工具包Lucene，作為開發(fā)Yooyoo搜索引

3、擎原型的基礎(chǔ)； (3)針對采用聚類算法建立主題的方法不適合P2P環(huán)境的問題，提出了以k-高頻詞向量表示文檔集合主題的方法，該方法具有計(jì)算量小、可伸縮性好、便于主題相似性計(jì)算等特點(diǎn)，因此適用于P2P環(huán)境； (4)針對查全率的提高將導(dǎo)致搜索時間較大增長和網(wǎng)絡(luò)效率明顯降低的問題，提出了“基于k-高頻詞主題相關(guān)性的搜索路由算法”，該算法通過計(jì)算搜索結(jié)果的主題與節(jié)點(diǎn)主題的相關(guān)性來決定搜索請求的路由方向，保證了搜索請求能優(yōu)先到達(dá)擁有

4、更多相關(guān)資源的節(jié)點(diǎn)上，從而降低了查全率-搜索時間曲線的斜率。實(shí)驗(yàn)證明，采用本算法的搜索引擎能夠在較短的時間內(nèi)，以較少的網(wǎng)絡(luò)通信量搜索到較多的相關(guān)資源； (5)開發(fā)了基于主題相關(guān)的P2P全文搜索引擎原型系統(tǒng)，該系統(tǒng)采用了“基于k-高頻詞主題相關(guān)性的搜索路由算法”，并驗(yàn)證了該算法的效率和可行性。原型系統(tǒng)建立了有效的實(shí)驗(yàn)平臺以促進(jìn)P2P環(huán)境下搜索算法的改進(jìn)，為開發(fā)P2P全文搜索引擎提供了參考，并且為P2P搜索引擎實(shí)驗(yàn)提供了參考數(shù)據(jù)。