基于Nutch的科技項(xiàng)目主題搜索引擎研究.pdf

1、隨著互聯(lián)網(wǎng)信息的日益增長(zhǎng)，通用搜索引擎已經(jīng)無法滿足用戶對(duì)于特定領(lǐng)域信息的查詢需求。搜索引擎正在向個(gè)性化、主題化、智能化發(fā)展，其中基于某種特定主題的搜索引擎已成為一個(gè)研究熱點(diǎn)。目前，在科技項(xiàng)目領(lǐng)域，科技項(xiàng)目信息獲取基本靠通用搜索引擎查詢和專家經(jīng)驗(yàn)，通過科技項(xiàng)目主題搜索為用戶提供相關(guān)項(xiàng)目信息的研究還比較少。本文針對(duì)通用搜索引擎查詢無法為用戶提供深入科技項(xiàng)目信息的問題，設(shè)計(jì)開發(fā)基于科技項(xiàng)目主題的搜索引擎系統(tǒng)，方便用戶準(zhǔn)確了解科技項(xiàng)目發(fā)展?fàn)顩r。

2、論文研究工作如下：
　　(1)分析主題爬行器的關(guān)鍵技術(shù)，研究提出基于科技項(xiàng)目主題的爬行器模型。模型通過選擇權(quán)威頁(yè)面作為初始URL種子頁(yè)面，選取項(xiàng)目模板文檔訓(xùn)練科技項(xiàng)目主題詞庫(kù)，應(yīng)用改進(jìn)的VSM余弦方法判定網(wǎng)頁(yè)主題相關(guān)性，提出基于Shark Search和Hits的主題爬行策略。該模型過濾科技項(xiàng)目主題相關(guān)性差的網(wǎng)頁(yè)，使爬行器能夠更多的爬行主題相關(guān)網(wǎng)頁(yè)，提高網(wǎng)頁(yè)爬行質(zhì)量。
　　(2)針對(duì)PageRank算法容易產(chǎn)生“主題漂移”，

3、偏重舊網(wǎng)頁(yè)的問題，提出一種基于時(shí)間衰減因子的改進(jìn)算法TD-PageRank(Time Decay PageRank)。該算法將網(wǎng)頁(yè)內(nèi)容表示為空間向量模型，運(yùn)用TF－IDF計(jì)算關(guān)鍵詞權(quán)值的基礎(chǔ)上，給予網(wǎng)頁(yè)不同區(qū)域關(guān)鍵詞相應(yīng)權(quán)值，減少“主題漂移”，加入時(shí)間衰減因子，以此來加速舊網(wǎng)頁(yè)“沉淀”。實(shí)驗(yàn)表明，改進(jìn)的算法相較于PageRank算法，主題相關(guān)的新網(wǎng)頁(yè)在排序中上升，更多的主題相關(guān)的網(wǎng)頁(yè)排在結(jié)果集前列。
　　(3)基于以上兩點(diǎn)研究成果

4、，結(jié)合Nutch開源搜索引擎，設(shè)計(jì)基于科技項(xiàng)目的主題搜索引擎原型系統(tǒng)。系統(tǒng)對(duì)Nutch爬行模塊進(jìn)行改進(jìn)，加入主題相關(guān)性判定模塊和主題詞庫(kù)訓(xùn)練模塊，加入IKAnalyzer中文分詞，通過結(jié)合Nutch評(píng)分機(jī)制和TD-PageRank算法改進(jìn)查詢結(jié)果排序，設(shè)計(jì)用戶查詢接口。實(shí)驗(yàn)測(cè)試驗(yàn)證原型系統(tǒng)的可行性。
　　在國(guó)內(nèi)對(duì)于科技項(xiàng)目領(lǐng)域主題搜索引擎研究較少的背景上，本文在科技項(xiàng)目主題搜索引擎方面所做的研究成果對(duì)科技項(xiàng)目搜索領(lǐng)域起到“拋磚引玉