網(wǎng)絡蜘蛛,網(wǎng)絡爬蟲

1、網(wǎng)絡蜘蛛筆記網(wǎng)絡蜘蛛筆記Java語言在此非常適合構(gòu)建一個“蜘蛛”程序，其內(nèi)建了對HTTP協(xié)議的支持，通過它可以傳輸大部分的網(wǎng)頁信息；其還內(nèi)建了一個HTML解析器，正是這兩個原因使Java語言成為本文構(gòu)建“蜘蛛”程序的首選。使用“蜘蛛”文章后面例1的示例程序，將會掃描一個網(wǎng)站，并尋找死鏈接。使用這個程序時需先輸入一個URL并單擊“Begin”按鈕，程序開始之后，“Begin”按鈕會變成“Cancel”按鈕。在程序掃描網(wǎng)站期間，會在“Can

2、cel”按鈕之下顯示進度，且在檢查當前網(wǎng)頁時，也會顯示相關(guān)正常鏈接與死鏈接的數(shù)目，死鏈接將顯示在程序底部的滾動文本框中。單擊“Cancel”按鈕會停止掃描過程，之后可以輸入一個新的URL；如果期間沒有單擊“Cancel”，程序?qū)恢边\行直到查找完所有網(wǎng)頁，此后，“Cancel”按鈕會再次變回“Begin”，表示程序已停止。下面將演示示例程序是如何與可復用“Spider”類交互的，示例程序包含在例1的CheckLinks類中，這個類實現(xiàn)

3、了ISpiderReptable接口，如例2所示，正是通過這個接口，蜘蛛類才能與示例程序相交互。在這個接口中，定義了三個方法：第一個方法是“spiderFoundURL”，它在每次程序定位一個URL時被調(diào)用，如果方法返回true，表示程序應繼續(xù)執(zhí)行下去并找出其中的鏈接；第二個方法是“spiderURLErr”，它在每次程序檢測URL導致錯誤時被調(diào)用（如“404頁面未找到”）；第三個方法是“spiderFoundEMail”，它在每次發(fā)現(xiàn)

4、電子郵件地址時被調(diào)用。有了這三個方法，Spider類就能把相關(guān)信息反饋給創(chuàng)建它的程序了。在begin方法被調(diào)用后，“蜘蛛”就開始工作了；為允許程序重繪其用戶界面，“蜘蛛”是作為一個單獨的線程啟動的。點擊“Begin”按鈕會開始這個后臺線程，當后臺線程運行之后，又會調(diào)用“CheckLinks”類的run方法，而run方法是由Spider對象實例化時啟動的，如下所示：spider=newSpider(this)spider.clear()b

5、ase=newURL(url.getText())spider.addURL(base)spider.begin()首先，一個新的Spider對象被實例化，在此，需要傳遞一個“ISpiderReptable”對象給Spider對象的構(gòu)造函數(shù)，因為“CheckLinks”類實現(xiàn)了“ISpiderReptable”接口，只需簡單地把它作為當前對象（可由關(guān)鍵字this表示）傳遞給構(gòu)造函數(shù)即可；其次，在程序中維護了一個其訪問過的URL列表，而“

6、clear”方法的調(diào)用則是為了確保程序開始時URL列表為空，程序開始運行之前必須添加一個URL到它的待處理列表中，此時用戶輸入的URL則是添加到列表中的第一個，程序就由掃描這個網(wǎng)頁開始，并找到與這個起始URL相鏈接的其他頁面；最后，調(diào)用“begin”方法開始運行“蜘蛛”，這個方法直到“蜘蛛”工作完畢或用戶取消才會返回。getWkloadWaiting().remove(url)getWkloadProcessed().add(url)l

7、og(“Notprocessingbecausecontenttypeis:“connection.getContentType())return首先，為每個傳遞進來的變量url中存儲的URL構(gòu)造一個“URLConnection”對象，因為網(wǎng)站上會有多種類型的文檔，而“蜘蛛”只對那些包含HTML，尤其是基于文本的文檔感興趣。前述代碼是為了確保文檔內(nèi)容以“text”打頭，如果文檔類型為非文本，會從等待區(qū)移除此URL，并把它添加到已處理區(qū)，

8、這也是為了保證不會再次訪問此URL。在對特定URL建立連接之后，接下來就要解析其內(nèi)容了。下面的代碼打開了URL連接，并讀取內(nèi)容：InputStreamis=connection.getInputStream()Readerr=newInputStreamReader(is)現(xiàn)在，我們有了一個Reader對象，可以用它來讀取此URL的內(nèi)容，對本文中的“蜘蛛”來說，只需簡單地把其內(nèi)容傳遞給HTML解析器就可以了。本例中使用的HTML解析器為

9、SwingHTML解析器，其由Java內(nèi)置，但由于Java對HTML解析的支持力度不夠，所以必須重載一個類來實現(xiàn)對HTML解析器的訪問，這就是為什么我們要調(diào)用“HTMLEditKit”類中的“getParser”方法。但不幸的是，Sun公司把這個方法置為protected，唯一的解決辦法就是創(chuàng)建自己的類并重載“getParser”方法，并把它置為public，這由“HTMLParse”類來實現(xiàn)，請看例4：imptjavax.swing.

10、text.html.publicclassHTMLParseextendsHTMLEditKitpublicHTMLEditKit.ParsergetParser()returnsuper.getParser()這個類用在Spider類的“processURL”方法中，我們也會看到，Reader對象會用于讀取傳遞到“HTMLEditKit.Parser”中網(wǎng)頁的內(nèi)容：HTMLEditKit.Parserparse=newHTMLPars