復合規(guī)則驅(qū)動聚焦爬蟲系統(tǒng)的設計與實現(xiàn).pdf

1、聚焦爬蟲，又稱主題爬蟲，這種爬蟲的爬行方向往往帶有很強的目的性。它會按照一定的順序采集網(wǎng)頁信息，力求采集到的信息都是與主題相關的信息，并且對相關度大的網(wǎng)頁優(yōu)先采集，相關度小的網(wǎng)頁不采集。
　　本項目實現(xiàn)了一個聚焦爬蟲系統(tǒng)，這個系統(tǒng)可以對特定范圍內(nèi)的網(wǎng)站進行實時檢測。系統(tǒng)采用復合規(guī)則來指導爬蟲的運行方向。同時對抓取下來的內(nèi)容可以通過網(wǎng)站的形式展現(xiàn)給用戶查看，用戶可以對網(wǎng)頁內(nèi)容標記和對系統(tǒng)運行參數(shù)配置。
　　系統(tǒng)整體上分為兩個模

2、塊，網(wǎng)頁內(nèi)容獲取模塊和顯示查詢模塊。網(wǎng)頁內(nèi)容獲取模塊的功能是從網(wǎng)絡上獲取用戶需要的網(wǎng)頁信息并且對其進行分析和記錄。其中主要包括提取正文、網(wǎng)頁去重、鏈接分析、內(nèi)容分析、存儲入庫和抓取調(diào)度等主要操作。系統(tǒng)通過這些模塊間的協(xié)調(diào)工作，從互聯(lián)網(wǎng)上抓取網(wǎng)頁信息并進行分析、處理，實現(xiàn)對主題內(nèi)容網(wǎng)頁的聚焦抓取。顯示查詢模塊主要負責將獲取到的頁面內(nèi)容展示出來給用戶查看。顯示查詢模塊使用網(wǎng)站的形式實現(xiàn)，采用SSH框架，將數(shù)據(jù)通過圖表等方式展現(xiàn)在頁面當中。<