面向垂直搜索的聚焦爬蟲(chóng)研究及應(yīng)用.pdf

1、隨著搜索引擎技術(shù)的發(fā)展,服務(wù)于特定領(lǐng)域的垂直搜索應(yīng)用開(kāi)始興起。作為注重專業(yè)化與結(jié)構(gòu)分析的垂直搜索技術(shù),其前提是建立在與主題相關(guān)的結(jié)構(gòu)化的元數(shù)據(jù)信息之上。因此,如何準(zhǔn)確、及時(shí)地獲取結(jié)構(gòu)化數(shù)據(jù)信息成為了當(dāng)前垂直搜索領(lǐng)域研究的一大課題。網(wǎng)絡(luò)爬蟲(chóng)作為搜索引擎信息源的提供者,能夠自動(dòng)提取網(wǎng)頁(yè)超鏈接,并負(fù)責(zé)下載相應(yīng)的Web信息。但它在結(jié)構(gòu)化數(shù)據(jù)信息的獲取方面,還不能滿足垂直搜索引擎的需要。為此,本文提出用面向垂直搜索的聚焦爬蟲(chóng)技術(shù)來(lái)解決上述問(wèn)題。在

2、簡(jiǎn)單介紹垂直搜索與網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)背景之后,圍繞面向垂直搜索的聚焦爬蟲(chóng)這一中心,本文完成了下列主要研究及應(yīng)用工作:1)系統(tǒng)地描述了面向垂直搜索的聚焦爬蟲(chóng)的概念、主要工作原理及流程、關(guān)鍵技術(shù)分析,還探討了其發(fā)展趨勢(shì)。2)針對(duì)聚焦爬蟲(chóng)最核心基礎(chǔ)的兩大工作環(huán)節(jié):網(wǎng)頁(yè)抓取和信息提取,提倡借鑒國(guó)外先進(jìn)的開(kāi)源項(xiàng)目技術(shù):網(wǎng)絡(luò)爬蟲(chóng)Heritrix和解析工具Web-Harvest。同時(shí)也為后續(xù)的應(yīng)用作了技術(shù)鋪墊。3)在現(xiàn)有的研究基礎(chǔ)上,引入一個(gè)實(shí)際的職位招