基于Hadoop的網(wǎng)絡(luò)聚焦爬蟲抓取策略和解析方法研究.pdf

1、近年來互聯(lián)網(wǎng)的發(fā)展速度越來越快，海量資源出現(xiàn)在網(wǎng)絡(luò)上，以聚焦爬蟲為核心的垂直搜索引擎因其針對(duì)性和準(zhǔn)確性的優(yōu)勢(shì)更受用戶歡迎。但現(xiàn)有聚焦爬蟲網(wǎng)頁抓取及解析方法還存在以下幾個(gè)問題：（1）爬行策略中僅考慮鏈接結(jié)構(gòu)或網(wǎng)頁內(nèi)容單方面因素對(duì)爬行策略的影響，且不關(guān)心鏈接文本之間的關(guān)系；（2）目前Web頁面解析算法僅支持有限的類型，過于片面，解析效果不佳；（3）現(xiàn)有解析算法大都內(nèi)嵌于爬蟲系統(tǒng)中，拓展性不高，對(duì)于海量數(shù)據(jù)處理不具有適用性。Hadoop平臺(tái)因

2、其高可靠性和良好的擴(kuò)展性，廣泛應(yīng)用于對(duì)海量數(shù)據(jù)的處理?；贖adoop平臺(tái)，研究聚焦爬蟲的網(wǎng)頁抓取及解析方法，具有較高的理論價(jià)值和實(shí)際意義。
　　基于以上問題，本文進(jìn)行以下三個(gè)方面的研究工作：
　?。?）針對(duì)現(xiàn)有爬蟲爬行算法效率不高的問題，本文分析了現(xiàn)有聚焦爬蟲的URL鏈接分析模型，提出了基于網(wǎng)頁內(nèi)容分析和密度劃分的聚焦爬蟲策略。該策略在網(wǎng)頁語義內(nèi)容評(píng)價(jià)鏈接的基礎(chǔ)上，采用基于密度劃分的聚類方法，對(duì)已下載的鏈接進(jìn)行聚類，根據(jù)鏈

3、接之間的關(guān)聯(lián)性來提高爬蟲抓取網(wǎng)頁的精準(zhǔn)度。此外，該算法綜合考慮待下載鏈接與已下載鏈接簇的相似度，對(duì)網(wǎng)頁內(nèi)容及鏈接錨文本進(jìn)行相似度分析，有效提高爬蟲工作效率。
　?。?）針對(duì)現(xiàn)有網(wǎng)頁解析算法準(zhǔn)確度不高且對(duì)海量數(shù)據(jù)處理的適用性低，為進(jìn)一步提高爬蟲運(yùn)行的速度，本文分析Web網(wǎng)頁內(nèi)容中目標(biāo)文本與噪音文本所在標(biāo)簽路徑的特征，結(jié)合Map/Reduce模型并利用分層合并降度的思想，提出了一種新的基于DOM樹和Map/Reduce的網(wǎng)頁解析算法。

4、該算法不僅能提高其目標(biāo)文本解析準(zhǔn)確度，更大幅度的提升其處理速度。
　?。?）在實(shí)驗(yàn)部分，對(duì)以上兩種算法進(jìn)行實(shí)驗(yàn)測試。在第一個(gè)算法的實(shí)驗(yàn)中，比較抓取數(shù)據(jù)以確定算法中權(quán)值參數(shù)?、?的最佳取值，通過其與 Best-First Search算法和Shark-Search算法的縱向?qū)Ρ闰?yàn)證了該算法的準(zhǔn)確率、有效性及其自身學(xué)習(xí)能力；在第二個(gè)算法實(shí)驗(yàn)中，首先對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行測試并觀察其解析效果，然后對(duì)比其在Hadoop環(huán)境與傳統(tǒng)多線程環(huán)境中消耗