基于Nutch的職位信息搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)資源迅速膨脹，通用搜索引擎技術(shù)能根據(jù)用戶(hù)的需要搜索出結(jié)果，而在茫茫查詢(xún)結(jié)果中迅速找到用戶(hù)需要的內(nèi)容變得越來(lái)越難，它雖然能滿(mǎn)足人們的查全率，但查準(zhǔn)率和查詢(xún)效率比較低;當(dāng)用戶(hù)明確搜索信息的主題或領(lǐng)域時(shí)，面向主題信息的搜索引擎能大大縮小查詢(xún)的范圍，從而能大大提高搜索結(jié)果的查全率和查準(zhǔn)率，因此，針對(duì)特定主題的搜索引擎技術(shù)受到了人們的廣泛關(guān)注，并成為了搜索引擎的一個(gè)重要研究方向。
　　本文綜述主題搜索引擎的研究背景

2、及意義，并分析國(guó)內(nèi)外研究現(xiàn)狀，簡(jiǎn)單介紹了搜索引擎技術(shù)，在已有的技術(shù)上重點(diǎn)探討主題信息提取技術(shù)，并以開(kāi)源技術(shù)Nutch為依托，提出基于Nutch的職位信息搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，主要的工作如下:
　　(1)對(duì)搜索引擎技術(shù)的原理、一般架構(gòu)以及開(kāi)源技術(shù)Nutch的詳細(xì)研究后，針對(duì)職位信息搜索引擎系統(tǒng)，進(jìn)行系統(tǒng)需求分析，以便明確系統(tǒng)的實(shí)現(xiàn)目標(biāo);根據(jù)需求進(jìn)行系統(tǒng)架構(gòu)的設(shè)計(jì)，針對(duì)Nutch網(wǎng)絡(luò)爬蟲(chóng)無(wú)法對(duì)網(wǎng)頁(yè)進(jìn)行選擇和過(guò)濾這一缺點(diǎn)，對(duì)Nutch網(wǎng)

3、絡(luò)爬蟲(chóng)進(jìn)行模塊改造，然后根據(jù)系統(tǒng)的架構(gòu)對(duì)每個(gè)功能模塊進(jìn)行詳細(xì)的設(shè)計(jì)。
　　(2)分別從網(wǎng)頁(yè)爬取模塊、主題信息提取模塊、索引模塊和搜索結(jié)果展示模塊四個(gè)功能模塊設(shè)計(jì)和實(shí)現(xiàn)職位信息搜索引擎系統(tǒng)，其中，針對(duì)職位信息的主題信息提取模塊，本文設(shè)計(jì)了基于位置權(quán)重統(tǒng)計(jì)網(wǎng)頁(yè)詞頻的主題網(wǎng)頁(yè)提取算法，根據(jù)不同位置不同權(quán)重統(tǒng)計(jì)網(wǎng)頁(yè)中各個(gè)詞條的詞頻，采用修正高階詞頻變差方法確定網(wǎng)頁(yè)關(guān)鍵詞，并采用空間向量模型(VSM)余弦方法計(jì)算網(wǎng)頁(yè)的關(guān)鍵詞與主題詞庫(kù)的相關(guān)