支持動態(tài)頁面的快速URL提取方法研究.pdf

1、Web2.0技術(shù)在互聯(lián)網(wǎng)上的出現(xiàn)以及社交平臺的興起，極大的促進了動態(tài)網(wǎng)頁的使用和普及。動態(tài)網(wǎng)頁中的Ajax技術(shù)，實現(xiàn)了客戶端和服務(wù)端之間數(shù)據(jù)的異步操作，不僅滿足了新時代的技術(shù)需要，同時也提高了用戶體驗，更是促進了互聯(lián)網(wǎng)的發(fā)展。但是，傳統(tǒng)網(wǎng)絡(luò)爬蟲并不能應對動態(tài)網(wǎng)頁帶來的新特征，所以支持動態(tài)頁面的網(wǎng)絡(luò)爬蟲的研究就具有了一定實踐意義。對于主題網(wǎng)絡(luò)爬蟲而言，噪聲鏈接不僅沒有價值，而且還會占用大量的資源，尤其是網(wǎng)絡(luò)爬蟲對噪聲鏈接對應網(wǎng)頁的采集和分

2、析，極大地降低了網(wǎng)絡(luò)爬蟲爬取的效率。
　　針對上述問題，本文的主要研究內(nèi)容如下：
　　首先，針對動態(tài)網(wǎng)頁中關(guān)鍵技術(shù)Ajax異步操作的原理，解決了如何令網(wǎng)絡(luò)爬蟲支持動態(tài)網(wǎng)頁爬取的問題。本文通過 HTTP請求獲取到網(wǎng)頁，然后將網(wǎng)頁在本地進行DOM樹的構(gòu)建，進行對腳本的解析和URL的提取，并通過對HtmlUnit的源碼修改來解析需要進行點擊觸發(fā)的腳本，從而解決傳統(tǒng)網(wǎng)絡(luò)爬蟲對動態(tài)網(wǎng)頁中動態(tài)生成的URL難以獲取的問題；
　　其次

3、，由于噪聲鏈接極大地降低了網(wǎng)絡(luò)爬蟲的效率，所以本文對網(wǎng)頁噪聲的去除算法進行了研究。傳統(tǒng)的網(wǎng)頁去噪算法針對網(wǎng)頁整體結(jié)構(gòu)進行處理，去噪效率低下。本文對提取后的URL結(jié)果通過聚類之后進行相似度計算進行去噪，并提出了基于改進Single-Pass算法的噪聲鏈接去除算法，該算法在去噪的準確率上取得了較好的效果；
　　最后，實現(xiàn)了支持動態(tài)頁面的快速提取URL主題網(wǎng)絡(luò)爬蟲系統(tǒng)，并針對動態(tài)網(wǎng)頁解析及動態(tài)生成URL的提取、去噪算法的效果對比和主題網(wǎng)