搜索引擎中主題爬蟲的研究與實(shí)現(xiàn).pdf

1、隨著Internet的迅速發(fā)展，網(wǎng)絡(luò)信息增長的速度和人們獲取所需信息能力之間的矛盾越來越突出。本文圍繞主題搜索引擎這一社會(huì)研究的新熱點(diǎn)技術(shù)，對(duì)主題搜索引擎中占有重要地位的主題爬蟲給予研究和討論。主題搜索引擎中的信息采集，即主題爬蟲系統(tǒng)的搜索策略的研究，對(duì)于主題搜索引擎的應(yīng)用與發(fā)展具有非常重要的作用。論文首先對(duì)主題搜索引擎的基本功能進(jìn)行了簡(jiǎn)單介紹，引出主題搜索引擎的重要組成部分——主題爬蟲，并分析了主題爬蟲的基本結(jié)構(gòu)及工作原理。然后對(duì)網(wǎng)絡(luò)

2、爬蟲的搜索策略進(jìn)行了討論，重點(diǎn)介紹了基于Web超鏈接結(jié)構(gòu)和基于網(wǎng)頁文本內(nèi)容的啟發(fā)式搜索策略，并對(duì)它們進(jìn)行了比較。在計(jì)算文本內(nèi)容相似度算法的討論中引入了經(jīng)典的基于向量空間模型的分類方法。設(shè)計(jì)并初步實(shí)現(xiàn)了一個(gè)主題爬蟲SoftSpider，介紹了該爬蟲的結(jié)構(gòu)以及相關(guān)設(shè)計(jì)細(xì)節(jié)。該爬蟲的搜索算法是對(duì)Authorities and hubs算法的改進(jìn)，采用了Web超鏈接分析和網(wǎng)頁文本內(nèi)容相結(jié)合的啟發(fā)式搜索策略。最后對(duì)該爬蟲的性能進(jìn)行了測(cè)試，同時(shí)給出