面向動態(tài)頁面的網絡爬蟲系統(tǒng)的設計與實現(xiàn).pdf

1、互聯(lián)網從誕生到現(xiàn)在，已經聚集了海量的信息資源，然而這些信息在網絡中的存放雜亂無章，使人們在獲取信息的時候遇到困難，搜索引擎是的產生就是為了幫助人們更好地從互聯(lián)網中檢索信息，它已經成為互聯(lián)網中最不可或缺的工具。本文在學習了網絡爬蟲程序的工作原理、遍歷策略、網頁排序算法、DeepWeb等知識的基礎上，設計并實現(xiàn)了一個能自動從目標網站中提取各種頁面的系統(tǒng)。網絡爬蟲程序是搜索引擎中用于下載Web頁面的重要組成部分，隨著互聯(lián)網技術的不斷發(fā)展變化，

2、對于如何增強網絡爬蟲程序的工作能力來適應變化的Web應用程序已經成為國內外學習研究的熱點。傳統(tǒng)的網絡爬蟲程序只能抓取互聯(lián)網表層的可索引頁面，它們忽視了大量的必須經過動態(tài)技術才能獲取的處于網絡深層的頁面，因此研究面向動態(tài)頁面的網絡爬蟲系統(tǒng)非常具有實用價值。
　　 本文根據(jù)動態(tài)頁面產生的多種原因，如利用HTML表單查詢數(shù)據(jù)庫動態(tài)生成頁面、AJAX技術動態(tài)執(zhí)行腳本后生成新的頁面，提出了多種提取動態(tài)頁面的方案，使得網絡爬蟲系統(tǒng)能夠從目標

3、網站中得到更多傳統(tǒng)爬蟲系統(tǒng)無法獲取的Web頁面。面向動態(tài)頁面的網絡爬蟲系統(tǒng)使用多線程對Web頁面進行同步的下載和分析，提取Web頁面中的所有靜態(tài)鏈接、表單、JavaScript腳本代碼以及JavaScript頁面事件，通過模擬用戶填寫表單和觸發(fā)事件執(zhí)行腳本來獲取頁面中的動態(tài)鏈接，并將提取的所有鏈接使用布隆過濾器存儲，將鏈接通過多個互不相關的hash函數(shù)映射到一快內存的多個比特位上，能夠迅速地判斷鏈接是否重復，大大地提高了效率，最后對該系