面向主題的雙約束網(wǎng)頁采集方法的研究和實現(xiàn).pdf

1、Web信息分布的局部專題化是互聯(lián)網(wǎng)信息所呈現(xiàn)的特征之一，伴隨著面向主題信息獲取的需求越來越多，用戶希望主題信息獲取能夠做到領(lǐng)域信息搜集更完備、更新速度更快、并能夠自動發(fā)現(xiàn)領(lǐng)域內(nèi)的主要資源，進(jìn)而研究主題信息的變化及其分布特征。由于主題信息一般只占整個Web很小的一部分，并且具有分散性，因此傳統(tǒng)的基于寬度優(yōu)先或深度優(yōu)先的搜索策略在Web信息搜集的效率上難以達(dá)到期望的要求。面向主題的網(wǎng)頁抓取系統(tǒng)的主要任務(wù)是利用有限的網(wǎng)絡(luò)帶寬、存儲容量和較少的

2、時間，抓取盡可能多的主題相關(guān)網(wǎng)頁。
　　本文首先對通用搜索引擎的工作原理作了簡單介紹，進(jìn)而對搜索引擎的一些關(guān)鍵技術(shù)如網(wǎng)絡(luò)爬蟲、信息抽取、文本分類、網(wǎng)頁排序等進(jìn)行了闡述。接下來介紹了主題搜索引擎的工作原理，并分析了其關(guān)鍵技術(shù)和研究熱點。
　　隨后，研究了主題搜索技術(shù)中主題特征模型的構(gòu)建與更新、主題網(wǎng)頁識別兩項關(guān)鍵技術(shù)。
　　接下來，本文重點討論了主題網(wǎng)絡(luò)爬蟲的抓取策略，分別論述了基于網(wǎng)頁內(nèi)容的啟發(fā)式方法和基于Web超鏈結(jié)