可定制的垂直搜索引擎研究與實(shí)現(xiàn).pdf

1、由于Web海量信息處于不斷的變化中，通用搜索引擎已經(jīng)很難再為用戶提供一個(gè)高質(zhì)量的、全面并且更新及時(shí)的信息搜索服務(wù)。通用搜索引擎試圖索引全部Web信息并服務(wù)于所有領(lǐng)域的查詢請(qǐng)求。相比之下，垂直搜索引擎只覆蓋與特定領(lǐng)域主題關(guān)鍵詞相關(guān)的Web區(qū)域，這樣搜索的內(nèi)容可以更深，搜索的周期可以更短。由于Web分類眾多，領(lǐng)域又廣，用戶希望能對(duì)所提供的服務(wù)定制?？啥ㄖ频拇怪彼阉饕鎽?yīng)該從人的角度去設(shè)計(jì)，讓用戶選擇自己感興趣的領(lǐng)域服務(wù)，這樣會(huì)吸引更多的用戶

2、。因此，能滿足用戶對(duì)快速、準(zhǔn)確、方便的獲取信息資源的要求。目前，垂直搜索引擎正成為計(jì)算機(jī)科學(xué)界和信息產(chǎn)業(yè)界爭(zhēng)相研究、開發(fā)的對(duì)象，可定制的垂直搜索引擎更具挑戰(zhàn)性和吸引力。 本文首先簡(jiǎn)要介紹了搜索引擎的發(fā)展現(xiàn)狀，分析了存在的優(yōu)缺點(diǎn)，然后通過對(duì)當(dāng)前通用搜索引擎技術(shù)的學(xué)習(xí)和研究，結(jié)合可定制的垂直搜索引擎的特點(diǎn)，設(shè)計(jì)出了可定制的垂直搜索引擎的總體架構(gòu)及核心模塊：網(wǎng)頁(yè)抓取模塊、分詞儲(chǔ)存索引模塊和網(wǎng)頁(yè)檢索模塊、可定制模塊。然后本文分章節(jié)詳細(xì)分

3、析、設(shè)計(jì)和實(shí)現(xiàn)了這四個(gè)模塊。它們構(gòu)成了本文的核心部分。通過對(duì)垂直搜索引擎的Web信息抓取模塊的設(shè)計(jì)和實(shí)現(xiàn)，完成了基本的網(wǎng)頁(yè)抓取工作；本文采用了海量智能分詞研究版（免費(fèi)）來分詞，結(jié)合Lucene實(shí)現(xiàn)了文檔的存儲(chǔ)與索引；在網(wǎng)頁(yè)檢索模塊中，本文采用BFU排序算法來對(duì)網(wǎng)頁(yè)進(jìn)行排序，最后本文給出了函數(shù)的具體形式及收斂性證明；通過對(duì)各大垂直搜索引擎的親身體驗(yàn)和仔細(xì)研究，分析出存在的不足及改善方法，于是本文設(shè)計(jì)了可定制的實(shí)現(xiàn)流程圖及功能定制。本文最后